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《经 济 学 人 》 说 ， 在 大 数据 领域 ， 他 是 最 受 人 尊敬 的 权威 发 言 人 之 一 ; 

《科学 》 说 ， 若 要 发 起 一 场 关 于 这 个 问题 的 深入 讨论 ， 没 有 比 他 更 好 的 发 起 者 了 。 
他 是 欧盟 互联 网 官方 政策 背后 的 重要 制定 者 与 参与 者 ; 

他 是 最 早 洞 见 大 数据 时 代 发 展 趋势 的 数据 科学 家 之 一 ; 

他 ， 就 是 维克托 * 迈 尔 - 舍 恩 伯 格 。 


ACB PER 
pE 
维克托 . 迈 尔 - 舍 恩 伯 格 二 十 多 年 来 一 
直 致 力 于 网 络 经 济 、 信 息 与 创新 、 信 息 
监管 、 网 络 规范 与 战略 管理 的 研究 。 
从 维也纳 大 学 到 哈佛 大 学 ， 从 新 加 坡 国 
立 大 学 到 牛津 大 学 ， 世 界 上 最 著名 的 互 
联网 研究 学 府 都 留 下 了 他 的 足迹 。 辐 本 





人 是 哈佛 大 学 肯尼迪 学 院 信息 监管 科研 

目 负责 人 ， 哈 佛 国家 电子 商务 研究 
中 心 网 络 监管 项 目 负责 人 。 在 哈佛 大 学 任 
教 10 年 后 ，2008 年 ， 他 远 渡 重 洋 ， 来 到 
新 加 坡 国立 大 学 担任 信息 政策 研究 中 心 主 
任 ， 以 新 新 的 视角 洞察 亚洲 信息 政策 。 期 
间 还 担任 耶鲁 大 学 、 弗 吉 尼 亚 大 学 、 圣 地 
亚 哥 大 学 、 芝 加 哥 大 学 、 维 也 纳 大 学 等 多 
所 知名 学 府 的 客座 教授 。 


而 现在 ， 在 数据 信息 界 孜 孜 不 倦 求索 
的 维克托 ， 是 世界 著名 学 府 牛津 大 学 网 络 
学 院 互联 网 研究 所 治理 与 监管 专业 教授 ， 
牛津 大 学 克 伯 学 院 教授 研究 员 。 法 学 、 信 
息 学 与 网 络 等 多 学 科 的 跨 界 融 合 ， 让 他 不 
仅 拥 有 严谨 的 思维 ， 更 拥有 广博 的 视野 。 他 


先后 有 100 多 篇 论文 公开 发 表 在 《科学 》《 自 
然 》 等 著名 学 术 期 刊 上 ， 同时 也 是 多 家 出 
版 机 构 的 特约 评论 员 ， 包 括 哈佛 大 学 出 版 
社 、 麻 省 理工 学 院 出 版 社 、 通 信 政 策 期 刊 、 
美国 社会 学 期 刊 等 。 





开 大 数据 系统 研究 之 先河 
他 说 ， 世 界 的 本 质 就 是 数据 ， 大 数据 将 
开启 一 次 重大 的 时 代 转 型 ; 

他 说 ， 大 数据 发 展 的 核心 动力 来 源 于 人 
类 测量 、 记 录 和 分 析 世 界 的 渴望 。 

他 说 ， 从 因果 关系 到 相关 关系 的 思维 变 
革 才 是 大 数据 的 关键 ， 建 立 在 相关 关系 
分 析 法 基础 上 的 预测 才 是 大 数据 的 核 
Ù. BE 
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已 进行 了 系统 而 深入 的 研究 。 早 在 
2010 年 ， 他 已 经 在 《经 济 学 人 》 上 和 数据 
编辑 肯 尼 思 。 库 克 耶 一 起 ， 发表 了 长 达 14 
页 的 大 数据 专题 文章 ， 成 为 最 早 洞 见 大 数 
据 时 代 发 展 趋势 的 数据 科学 家 之 一 。 


从 大 数据 时 代 的 思维 变革 到 商业 变革 ， 
从 大 数据 时 代 的 隐忧 到 管理 变革 ， 他 在 大 
数据 的 蓝 色 海 洋 中 预见 了 正在 发 生 的 未 来 。 


大 数据 取舍 之 道 

en 

维克托 的 继父 去 世 时 留 下 了 16 000 张 
收藏 的 照片 ， 这 些 照片 都 是 他 几 十 年 来 
周游 世界 时 的 影像 记录 。 

为 了 确定 哪些 照片 需要 保留 ， 维 克 托 制 
定 了 两 条 规则 : 首先 ， 照 片上 有 认识 或 
可 能 认识 的 人 ; 其 次 ， 照 片 拍摄 得 很 漂 
BSE: SREFT OREN 


许 正 是 这 一 人 生 的 片段 ， 让 他 开始 重 

新 思考 “被 遗忘 的 权利 ”与 互联 时 代 
的 取舍 之 道 ， 并 最 终 成 就 了 他 的 《删除 》 
一 书 : “过 去 正 像 刺青 一 样 被 刻 在 我 们 的 
数字 皮肤 上 ， 遗忘 已 经 变 成 了 例外 ， 而 记 
忆 却 成 了 常态 .…..” 大 数据 时 代 ， 人 类 又 该 
如 何 构建 积极 而 安全 的 未 来 ? 


《删除 》 一 经 出 版 ， 即 获得 美国 政治 
科学 协会 颁发 的 “ 唐 K* 普 赖 斯 奖 ” 以 及 


媒介 环境 学 会 的 最 高 荣誉 “马歇尔 麦克 
卢 汉 奖 ”， 同 时 受到 《 连 线 》《 自 然 》《 华 
尔 街 日 报 》《 纽 约 时 报 》 等 各 大 权威 媒体 
的 广泛 好 评 。 


大 数据 商业 应 用 的 引路 人 





ee 
间 ， 他 就 先后 创立 了 两 家 数据 安全 和 制 
作 反 病毒 软件 的 公司 ， 并 担任 总 裁 兼 
CE0。 

由 他 的 公司 开发 的 反 病 毒 程序 ， 一 经 推 
出 即 一 跃 成 为 奥地利 当时 最 畅销 的 软件 
产品 。1991 年 ， 他 跻身 奥地利 软件 企 
业 家 前 5 名 之 列 ，2000 年 成 为 奥地利 
萨 尔 斯 堡 州 的 年 度 人 物 。 轩 四 


阔 的 学 术 视野 与 系统 的 学 术 造 讶 ,更 
让 他 不 断 为 企业 与 商业 应 用 提供 强大 
的 理论 支持 。 他 的 咨询 客户 包括 微软 、 惠普、 
IBM、 亚 马 逊 、facebook、twitter、VISA 
等 大 数据 先锋 们 ， 所 以 在 《大 数据 时 代 》 
一 书 中 ， 他 才能 掌握 最 前 沿 、 最 靳 新 的 大 数 


据 应 用 案例 ， 并 对 大 数据 的 价值 链 与 角色 
定位 给 予 清晰 的 预见 。 





欧盟 专家 与 真正 的 “亚洲 通 ” 
BE 

他 是 欧盟 互联 网 官方 政策 背后 真正 的 制 
定 者 与 参与 者 ; 他 是 世界 经 济 论坛 、 
马 吹 尔 计划 基金 会 等 重要 机 构 的 策略 顾 
问 ; 他 是 众多 国家 政府 高 层 的 信息 政策 
智囊 ， 包 括 俄罗斯 商务 部 高 层 、 瑞 士 联邦 政 
府 、 荷 兰 政府 高 层 等 。 恒 国 





>_ 为 重要 的 是 ， 他 特别 熟悉 亚洲 信息 产 

业 的 发 展 与 战略 布局 ， 一 直 专注 于 信 

息 安全 、 信 息 政策 与 战略 的 研究 ， 先 后 担 

任 新 加 坡 商 务 部 高 层 、 文 莱 国 防 部 高 层 、 

科威特 商务 部 高 层 、 迪 拜 及 中 东 政 府 高 层 
的 咨询 顾问 。 


正如 大 数据 提供 的 不 是 最 终 答案 ， 只 
是 参考 答案 一 样 ， 大 数据 正在 改变 我 们 的 
生活 以 及 理解 世界 的 方式 ， 正 在 成 为 新 发 
明和 新 服务 的 源泉 ， 而 维克托 。 迈 尔 - 舍 恩 
伯 格 更 多 的 大 数据 研究 也 在 蕾 势 待 发 …. 


维克托 . 迈 尔 - 省 恩 伯 格 作品 系列 
删 除 


大 数据 时 代 
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推荐 序 一 拥抱 “大 数据 时 代 ” 


宽带 资本 董事 长 HMT 


从 硅谷 到 北京 ， 大 数据 的 话题 正在 被 传播 。 随 着 智能 手机 以 及 “可 
佩 珊 ?计算 设备 的 出 现 ， 我 们 的 行为 、 位 置 ， 甚 至 身体 生理 数据 等 每 一 
点 变化 都 成 为 了 可 被 记录 和 分 析 的 数据 。 以 此 为 基础 , “反馈 经 
Gf” (feedback economy) 等 新 经 济 、 新 疝 业 模式 也 正在 开始 形成 。 维 殉 
托 : 迈 尔 - 舍 恩 伯 格 教授 这 本 《大 数据 时 代 》， 是 我 看 到 的 最 好 的 大 数据 
ee ree 还 是 对 于 政府 和 公众 机 构 ， 都 是 非常 具有 
介 值 的 。 


如 今 ， 一 个 大 规模 生产 、 分 享 和 应 用 数据 的 时 代 正 在 开启 。 正 如 维 
克 托 教授 所 说 ， 大 数据 的 真实 价值 就 像 漂 浮 在 海洋 中 的 冰山 ， 第 一 眼 只 
能 看 到 冰山 的 一 角 ， 绝 大 部 分 都 隐藏 在 表面 之 下 。 而 发 掘 数 据 价 值 、 征 
服 数据 海洋 的 “动力 ”就 是 云 计算 。 互 联网 时 代 ， 尤 其 是 社交 了 网络、 电子 
商务 与 移动 通信 把 人 类 社会 带 入 了 一 个 以 “PB”(1024TB) 为 单位 的 结 
构 与 非 结构 数据 信息 的 新 时 代 。 在 云 计 算出 现 之 前 ， 传 统 的 计算 机 是 无 
法 处 理 如 此 量 大 、 并 且 不 规则 的 “ 非 结 构 数 据 * 的 。 以 云 计 算 为 基础 的 信 
息 存 储 、 分 享 和 挖掘 手段 ， 可 以 便宜 、 有 效 地 将 这 些 大 量 、 高 速 、 多 变 
化 的 终端 数据 存储 下 来 ， 并 随时 进行 分 析 与 计算 。 大 数据 与 云 计 算是 一 
个 问题 的 两 面 : 一 个 是 问题 ， 一 个 是 解决 问题 的 方法 。 通 过 云 计 算 对 大 
数据 进行 分 析 、 预 测 ， 会 使 得 决策 更 为 精准 ， 释 放出 更 多 数据 的 隐藏 价 
值 。 数 据 ， 这 个 21 世 纪 人 类 探索 的 新 边疆 ， 正 在 被 云 计 算 发 现 、 征 服 。 


《大 数据 时 代 》 列 举 了 众多 在 公共 卫生 、 丙 业 服 务 领域 大 数据 变 单 
的 例子 。 一 旦 “不 再 退 求 精确 度 ， 不 再 退 求 因果 关系 ， 而 是 承认 混杂 
性 ， 探 索 相 关 关 系 ”", “思维 转变 过 来 ， 数 据 就 能 锌 巧妙 地 用 来 溅 发 新 产 
品 和 新 型 服务 ”。 数 据 正成 为 巨大 的 经 济 资 产 ， 成 为 新 世纪 的 丰产 与 石 
油 ， 将 带 来 全 新 的 创业 方向 、 商 业 模 式 和 投资 机 会 。 


庞大 的 人 群 和 应 用 市 场 ， 复 杂 性 高 、 充 满 变 化 ， 使 得 中 国 成 为 世界 
上 最 复杂 的 大 数据 国家 。 解 决 这 种 由 大 规模 数据 引发 的 问题 ， 探 索 以 大 
数据 为 基础 的 解雇 方案 ， 是 中 国产 业 升级 、 效 率 提高 的 重要 手段 。 数 据 
余 据 不 仅 能 够 成 为 公司 竞争 力 的 来 源 ， 也 将 成 为 国家 竞争 力 的 一 部 分 。 
联系 到 我 国 现代 化 所 面临 的 种 种 问题 以 及 教育 、 交 通 、 医 疗 保健 等 各 方 












































面 挑战 ， 通 过 大 数据 这 种 创新 方式 来 解决 问题 ， 创 建新 的 产业 群 ， 实 
现 “ 中 国 制造 到 中 国 创造 ”的 改变 ， 意 义 就 更 大 。 


“大 数据 ?发展 的 障碍 ， 在 于 数据 的 “流动 性 ?和 “可 获取 性 ”。 美 国政 
府 创 建 了 Data.gov 网 站 ， 为 大 数据 属 开 了 大 门 ; 英国 、 印 上 度 也 有 “数据 公 
开 ” 运 动 。 中 国 要 赶 上 这 样 一 场 大 数据 变革 ， 各 界 应 该 首先 开始 尝试 公 
开 数 据 、 方 式 与 方法 。 如 同 工 业 革命 要 开放 物质 交易 、 流 通 一 样 ， 开 
放 、 流 通 的 数据 是 时 代 趋 势 的 要 求 。《 大 数据 时 代 》 一 书 也 提 到 了 数据 
拥有 权 、 隐 私 性 保护 等 问题 ， 但 相 比 较 来 看 ， 新 科技 可 能 带 来 的 改变 要 
远 远 大 于 其 存在 的 问题 。 


本 书 的 译 者 周涛 教授 是 我 国 最 年 轻 有 为 的 大 数据 专家 。 这 位 27 岁 的 
天 才 型 教授 ， 数 年 来 一 直 带 领 我 国学 术 界 在 大 数据 研究 上 疝 国际 一 流 看 
齐 。 更 可 贵 的 是 ， 他 不 仅 做 研究 ， 也 关注 着 研究 成 果 的 商业 化 及 传播 。 
这 部 译 著 就 是 他 这 种 努力 的 一 个 成 果 。 


现代 历史 上 的 历次 技术 革命 ， 中 国 均 是 学 习 者 。 而 在 这 次 云 计 算 与 
大 数据 的 新 变革 中 ， 中 国 与 世界 的 距离 最 小 ， 在 很 多 领域 甚至 还 有 着 创 
新 与 领先 的 可 能 。 只 要 我 们 以 开放 的 心态 、 创 新 的 勇气 拥抱 “大 数据 时 
代 ”， 就 一 定 会 抓 住 历史 赋予 中 国 创新 的 机 会 。 

















推荐 序 二 实 实 在 在 大 数据 
中 国 互联 网 发 展 的 重要 参与 者 ， 知 名 IT 评论 人 MX 


因为 我 本 映 十 分 关注 大 数据 ， 也 写 过 各 和 干 天 于 大 数据 的 文章 ， 做 过 
右 干 关于 大 数据 的 演讲 ， 所 以 对 有 关 这 一 主题 的 论文 和 书籍 非 第 有 兴 
Mi. WAIL, RAM RN TAB. EA eve Ae. AX 
Ao Ew R-E BBR AGI (KEIN) ere A IER 
最 好 的 一 本 专著 ， 中 英文 都 算 上 。 


此 书 的 一 大 页 献 束 是 在 大 数据 方兴未艾 、 众 说 纷 经 的 时 刻 ， 进 一 步 
阐述 和 悍 消 了 大 数据 的 基本 概念 和 特点 ， 这 对 许多 以 为 大 数据 束 古 “ 数 
据 大 ”的 人 来 说 很 有 帮助 。 


在 人 类 历史 长 河中 ， 即 使 是 在 现代 社会 日 新 月 异 的 发 展 中 ， 人 人 们 还 
主要 是 依赖 抽样 数据 、 局 部 数据 和 片面 数据 ， 甚 全 在 无 法 获得 实证 数据 
的 时 候 纯粹 依赖 经 验 、 理 论 、 假 设 和 价值 观 去 发 现 未 知 领域 的 规律 。 因 
此 ， 人 们 对 世界 的 认识 往往 是 表面 的 、 肤 浅 的 、 简 单 的 、 扭 曲 的 或 者 是 
无 知 的 。 维 克 托 指出 ， 大 数据 时 代 的 来 临 使 人 类 第 一 次 有 机 会 和 条 件 ， 
在 非常 多 的 领域 和 非常 深 入 的 层次 获得 和 使 用 全 面 数据 、 完 整数 据 和 系 
统 数 据 ， 深 入 探索 现实 世界 的 规律 ， 获 取 过 去 不 可 能 获取 的 知识 ， 得 到 
过 去 无 法 企及 的 商机 。 


大 数据 的 出 现 ， 使 得 通过 数据 分 析 获 得 知识 、 商 机 和 社会 服务 的 能 
力 从 以 往 局 限于 少数 象牙 塔 之 中 的 学 术 精 瑞 圈 子 扩大 到 了 普通 的 机 构 、 
企业 和 政府 部 门 。 门 槛 的 降低 直接 导致 了 数据 的 容错 率 提 高 和 成 本 的 降 
低 ， 但 正如 维克托 所 强调 的 ， 最 重要 的 是 人 们 可 以 在 很 大 程度 上 从 对 于 
因果 关系 的 退 求 中 解脱 出 来 ， 转 而 将 注意 力 放 在 相关 关系 的 发 现 和 使 用 
上 。 只 要 发 现 了 两 个 现象 之 间 存 在 的 显著 相关 性 ， 就 可 以 创造 巨大 的 经 
济 或 社会 效益 ， 而 弄 清 二 者 为 什么 相关 可 以 留待 学 者 们 慢 慢 研究 。 大 数 
据 之 所 以 可 能 成 为 一 个 “时 代 ”， 在 很 大 程度 上 是 因为 这 是 一 个 可 以 由 社 
会 各 界 广泛 参与 ， 八 面 出 击 ， 处 处 结果 的 社会 运动 ， 而 不 仅仅 是 少数 专 
家 学 者 的 研究 对 象 。 


大 数据 将 逐渐 成 为 现代 社会 基础 设施 的 一 部 分 ， 就 像 公路 、 铁 路 、 
港口 、 水 电 和 通信 网 络 一 样 不 可 或 缺 。 但 就 其 价值 特性 而 言 ， 大 数据 却 

































































和 这 些 物 理化 的 基础 设施 不 同 ， 不 会 因为 人 们 的 使 用 而 折旧 和 贬值 。 例 
如 ， 一 组 DNA 可 能 会 死亡 或 毁灭 ， 但 数据 化 的 DNA 却 会 永存 。 所 以 ， 
维克托 赞同 许多 物理 学 家 的 看 法 ， 世 界 的 本 质 就 是 数据 。 因 此 ， 大 数据 
时 代 的 经 济 学 、 政 治学 、 社 会 学 和 许多 科学 门类 都 会 发 生 巨大 甚至 是 本 
质 上 的 变化 和 发 展 ， 进 而 影响 人 类 的 价值 体系 、 知 识 体系 和 生活 方式 。 
哲学 史上 争论 不 休 的 世界 可 知 论 和 不 可 知 论 将 会 转变 为 实证 科学 中 的 具 
体 问题 。 可 知性 是 绝对 的 ， 无 事 无 物 不 可 知 ; 不 可 知性 是 相对 的 ， 是 尚 
未 知道 的 意思 。 


对 于 不 从 事 网 络 业 、IT 业 以 及 数据 分 析 和 使 用 的 读者 ， 本 书 的 一 大 
好 处 束 是 通俗 易 履 ， 通 过 具体 实例 说 明 问 题 ， 有 助 于 人 们 的 理解 和 联 
想 。 在 时 限 上 ， 作 者 概括 了 直到 2012 年 7 月 大 数据 方向 上 的 最 新 发 展 ， 
避免 了 许多 同类 作品 存在 的 例证 过 于 陈旧 、 视 野 相 对 狭 罕 的 毛病 。 


作为 一 位 生活 在 欧美 现代 社会 的 学 者 ， 维 克 托 是 把 民主 、 开 放 和 理 
性 作为 已 知 前 提 来 讨论 大 数据 革命 的 。 这 对 生活 在 发 展 中 国家 ， 社 会 现 
代 化 程度 尚且 有 限 的 读者 来 说 ， 也 许 是 个 遗憾 ， 因 为 书 中 描述 的 许多 已 
经 发 生 的 事例 可 能 更 像 是 神话 。 没 有 市 场 经 济 制度 和 法 治 体系 作为 基础 
支撑 ， 大 数据 很 可 能 成 为 发 达 国 家 在 下 一 轮 全 球 化 竞争 中 的 利器 ， 而 发 
展 中 国家 依然 处 于 被 动 依附 的 状态 之 中 。 整 个 世界 可 能 被 割裂 为 大 数据 
时 代 、 小 数据 时 代 和 无 数据 时 代 。 


处 于 发 展 中 国家 前 列 的 中 国 ， 目 前 正面 临 着 一 个 重大 的 历史 抉择 关 
口 。 应 该 说 ， 在 过 去 的 三 十 余年 时 间 里 ， 中 国 在 快速 走向 工业 化 、 信 息 
化 、 网 络 化 方面 交 出 了 一 份 不 错 的 成 绩 单 。 如 今 适 着 世界 走向 数据 化 ， 
迈 入 大 数据 时 代 的 时 刻 ， 无 论 对 个 人 、 企 业 还 是 对 社会 和 国家 ， 都 有 认 
真理 解 、 严 肃 决 全 的 必要 性 和 紧迫 性 。 哪 怕 仅 从 这 一 点 考 虑 ， 读 一 读 这 
本 书 也 是 很 值得 的 。 
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电子 科技 大 学 教授 ， 互 联网 科学 中 心 主任 周涛 


接 下 翻译 这 本 《大 数据 时 代 》 的 任务 时 ， 我 的 目标 是 做 到 110% 的 
好 。 因 为 作者 维克托 : 迈 尔 - 舍 恩 伯 格 毕竟 不 像 我 们 每 天 在 一 线 与 数据 万 
杀 捕 斗 ， 其 爱 其 恨 都 更 深刻 。 特 别 地 ， 我 们 可 以 为 中 文 的 读者 补充 很 多 
中 国 的 例子 和 参考 资料 。 很 遗憾 ， 我 们 最 终 只 做 到 了 90%， 应 该 补充 的 
一 些 材料 还 没有 整理 好 ， 遗 词 造句 也 多 有 生硬 疏忽 之 处 。 如 果 再 给 我 一 
个 月 的 时 间 ， 束 可 以 达到 我 预想 的 110% 甚 至 1209%。 


为 什么 现在 把 这 个 版 本 呈现 给 诸位 呢 ? 一 是 因为 我 们 的 努力 使 得 本 
书 中 译本 的 出 版 和 英文 原版 完全 同步 ， 单 从 获取 知识 的 角度 讲 ， 我 们 一 
点 儿 不 比美 国 的 读者 慢 ! 二 是 我 相信 作者 在 书 中 的 一 个 重要 观点 ， 就 是 
大 数据 时 代 ， 要 人 允许 一 点 点 的 错误 和 不 完美 ， 因 为 效率 可 能 更 加 重要 ! 
留 下 一 些 可 供 提高 的 地 方 ， 也 使 得 我 们 的 每 一 次 印刷 ， 都 能 够 与 以 前 有 
所 不 同 。 亲 ， 这 不 是 建议 你 等 到 条 个 更 好 的 版 本 才 去 购买 ， 而 是 说 ， 其 
实 你 应 该 每 个 版 本 都 买 一 本 : ) 


《大 数据 时 代 》 这 本 书 是 200% 的 好 ， 因 此 90% 的 译本 也 绝对 值得 一 
读 。 首 先 ， 作 者 抛 出 了 大 数据 时 代 处 理 数 据 理念 上 的 三 大 转变 : 要 全 体 
不 要 抽样 ， 要 效率 不 要 绝对 精确 ， 要 相关 不 要 因果 ; RE, MASA 
数据 化 和 数据 交叉 复 用 的 巨大 价值 两 个 方面 ， 讲 述 驱动 大 数据 战 车 在 材 
质 和 智力 方面 向 前 滚动 的 最 根本 动力 ， 最 后 ， 作 者 冷静 描绘 了 大 数据 帝 
国 前 夜 的 脆弱 和 不 安 ， 包 括 产 业 生态 环境 、 数 据 安全 隐私 、 信 息 公 正 公 


开 等 问题 。 


国内 最 近 也 出 版 了 一 些 大 数据 方面 的 著作 ， 可 以 和 本 书 互 为 补充 。 
郑 儿 的 《证 析 》 对 于 数据 通过 交叉 复 用 体现 的 新 价值 、 大 数据 战略 在 企 
业 与 政府 执行 层面 的 流程 和 大 数据 科学 家 这 一 新 职位 ， 以 及 围绕 这 个 职 
位 的 能 力 和 责任 给 出 了 最 深刻 、 最 具体 的 描述 ， 子 沛 的 《大 数据 》 对 于 
数据 的 公正 性 、 公 平 性 以 及 信息 和 数据 管理 等 方面 理念 、 政 策 和 执行 的 
变化 ， 特 别 是 美国 在 这 方面 的 进展 ， 给 出 了 完整 的 介绍 ; Te. PRR A 
我 合 闭 的 《个 性 化 : 丙 业 的 未 来 》 则 对 大 数据 时 代 最 重要 的 技术 一 一 个 


























性 化 拉 术 ， 以 及 与 之 相关 的 新 商业 模式 给 出 了 从 理念 到 拉 术 细 市 的 全 景 
工笔 。 总 的 来 说， 这 三 本 书 都 针对 本 书 的 茶 一 局 部 给 出 了 更 深刻 的 介 
绍 和 洞 见 ， 也 各 有 明显 超出 本 书 的 优点 ， 但 三 本 之 和 也 无 法 吉 括 本 书 
的 背 华 ， 刘 缺乏 本 书 的 宏大 视野 。 


简单 地 说 ， 这 本 书 好 在 三 个 地 方 : 


一 征 观 点 掷地有声 ， 绝 非 主流 媒体 上 知 干 讨论 的 简单 汇总 和 平均 ， 
更 不 是 一 个 宏大 概念 面前 暧昧 的 叫好 声 。 读 者 可 能 对 其 中 一 些 观点 并 不 
认同 ,但 是 读 完 之 后 不 可 能 一 个 都 记 不 住 。 


二 是 观念 高 屋 建 令 ， 作 者 试图 从 很 多 实例 和 经 验 ， 包 括 历史 事件 中 
某 取 出 普 适 性 的 观念 ， 而 不 仅仅 是 适用 于 几 个 特定 情况 的 案例 分 析 。 


三 是 例子 丰富 翔实 ， 不 长 的 篇 幅 包 括 了 上 百 个 学 术 和 商业 的 实例 。 


三 点 近乎 完美 地 结合 起 来 ， 体 现 了 作者 驾驭 大 问题 的 能 力 和 丰富 的 
知识 ， 以 及 ， 可 能 更 为 重要 地 ， 作 者 汐 求 立言 立 说 的 野心 ! 所 以 说 ， 这 
本 书 绝 对 不 是 一 堆 枯燥 的 纲要 ， 更 不 是 一 本 巨 厚 的 杂志 。 


我 在 这 里 拼命 叫好 ， 是 为 了 这 本 书 卖 得 更 多 ， 但 不 代表 作者 的 所 有 
观点 都 是 绝对 真理 。 举 个 例子 ， 我 本 人 对 于 大 数据 时 代 “ 相 关 关 系 比 因 
果 关 系 更 重要 ”这 个 观点 就 不 认同 。 有 了 机 器 学 习 ， 特 别 是 集成 学 习 ， 
我 们 解决 问题 的 方式 变 成 了 训练 所 有 可 能 的 模型 和 拟 合 所 有 可 能 的 参数 
问题 从 一 个 问 口 进去 ， 答 案 从 另 一 个 器 口 出 来 ， 中 间 则 是 一 个 黑 芽 
子 ， 因 为 没有 人 能 够 从 成 后 上 万 的 参数 拟 合 值 里 面 读 到 “科学 ”， 我 们 读 
到 的 只 是 “计算 机 工程 >。 与 其 说 大 数据 让 我 们 重视 相关 胜 于 因果 ， 不 如 
说 机 需 学 习 和 以 结果 为 导 同 的 研究 思路 让 我 们 变 成 这 样 。 


那么 ， 大 数据 是 不 是 都 这 样 呢 ? 其 实 很 多 时 候 恰 恰 相 反 。 想 想 瑞 士 
日 内 瓦 的 强 子 对 撞 机 ， 我 们 在 上 面 捕获 了 人 类 有 史 以 来 最 大 规模 的 单位 
时 间 数 据 。 我 们 是 希望 找到 或 者 验证 某 种 相关 关系 吗 ? 不 是 ! 我 们 试图 
回答 的 ， 正 是 人 类 所 能 问 出 的 关于 因果 关系 最 伟大 的 问题 : Ae 
子 是 人 否 存在 ， 我 们 的 宇宙 是 否 有 可 能 用 标准 模型 刻画 。 这 个 问题 的 最 终 
答案 ， 将 打破 人 和 神 的 界限 ! 认为 相关 重 于 因果 ， 是 某 些 有 代表 性 的 大 
数据 分 析 手 段 〈 辟 如 机 器 学 习 )〉 里 面 内 豪 的 实用 主义 的 魅影 ， 绝 非 大 数 
气 目 身 的 诉求 。 从 小 处 讲 ， 作 者 试图 避免 的 “数据 的 独裁 ?和 * 错 误 的 前 
提 导 致 错误 的 结论 *， 其 解决 之 道 恰 在 于 挖掘 因果 逻辑 而 非 相关 性 ;从 
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管 了 这 个 世界 ， 那 么 这 种 放弃 就 是 末日 之 始 。 


苏 丙 : 朗 格 (Susan Langer) 在 《哲学 新 视野 》 一 书 中 说 : 


某 些 观 念 有 时 会 以 惊人 的 力量 给 知识 状况 带 来 巨大 的 冲击 。 由 于 这 
些 观念 能 一 下 子 解决 许多 问题 ， 所 以 ， 它 们 似乎 将 有 和 希望 解决 所 有 基本 
问题 ， 澄 清 所 有 不 明了 的 颖 点。 每 个 人 都 想 迅 速 地 抓 住 它 们 ， 作 为 进入 
某 种 新 实证 科学 的 法 宝 ， 作 为 可 以 用 来 建构 一 个 综合 分 析 体 系 的 概念 轴 
心 。 这 种 “宏大 概念 突然 流行 起 来 ， 一 时 间 把 几乎 所 有 的 东西 部 挤 到 了 


一 边 。 


这 上 段 话 通常 被 认为 是 对 当时 “存在 主义 ”和 “精神 分 析 法 ”这 类 万 能 概 
念 的 善意 批评 ， 而 如 今 特别 适合 作为 一 盆 冷 水 竣 在 那些 没有 任何 深刻 理 
解 ， 却 月 月 日 日 分 分 秒 秒 穿行 于 各 种 “大 数据 嘉年华 ”的 投资 人 、 巡 体 人 
和 创业 者 号 上 。 


希望 《大 数据 时 代 》 给 予 各 位 的 是 一 些 实 实在 在 的 知识 和 思考 ， 并 
且 唤 起 各 位 安静 思索 相关 问题 的 心境 。 大 数据 是 一 个 很 重要 的 概念 ， 代 
表 了 很 重要 的 趋势 ， 但 我 不 希望 它 成 为 一 种 放 之 四 海 皆 准 的 万 能 概念 
因为 越 是 万 能 的 ， 就 越 是 空洞 的 ! 人 类 学 家 克利 福 德 .吉尔 北 
(Clifford Geertz) 在 其 著作 《文化 的 解释 》 中 曾 给 出 了 一 个 朴素 而 冷静 
HO: “努力 在 可 以 应 用 、 可 以 拓展 的 地 方 ， 应 用 它 、 拓 展 它 ; 在 不 
能 应 用 、 不 能 拓展 的 地 方 ， 就 停 下 来 。” 我 想 ， 这 应 该 是 所 有 人 面 对 一 
个 新 领域 或 新 概念 时 应 有 的 态度 。 


大 数据 的 道路 上 没有 戈 多 ， 我 们 已 经 在 路 上 ， 哆 晃 悠 您 。 人 类 有 的 自 

意志 和 诸 神 之 下 的 尊严 ， 会 在 这 条 道路 上 并 化 甚至 消逝 吗 ? 极目 远 
不 知道 世界 的 尽头 ， 是 否 是 一 个 冷酷 的 仙境 ! 诸位 为 之 奋斗 吧 ， 而 
想 ， 做 一 个 ， 交 田 里 的 守望 者 。 


以 为 序 。 
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引言 一 场 生 活 、 工 作 与 思维 的 大 变革 


大 数据 开局 了 一 次 重大 的 时 代 转 型 。 就 像 望 远 镜 让 我 们 能 够 感受 宇 
宙 ， 显 微 镜 让 我 们 能 够 观测 微生物 一 样 ， 大 数据 正在 改变 我 们 的 生活 以 
及 理解 世界 的 方式 ， 成 为 新 发 明和 新 服务 的 源 果 ， 而 更 多 的 改变 正 蓄 势 


Ae Past 








【大 数据 先锋 】 
谷歌 搜索 与 流感 预测 
Farecast 与 飞机 票 价 预测 系统 


天 文学 ， 信 息 爆 炸 的 起 源 
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2009 年 出 现 了 一 种 新 的 流感 病毒 。 这 种 甲 型 HIN1 流 感 结 合 了 导致 
禽 流 感 和 猪 流 感 的 病毒 的 特点 ， 在 短 短 几 周 之 内 迅速 传播 开 来 。 全 球 的 
公共 卫生 机 构 都 担心 一 场 致命 的 流行 病 即 将 来 认 。 有 的 评论 家 甚至 警告 
说 ， 可 能 会 爆发 大 规模 流感 ， 类 似 于 1918 年 在 西班牙 爆发 的 影响 了 5 亿 
人 口 并 夺 走 了 数 千 万 人 性 命 的 大 规模 流感 。 更 糟糕 的 是 ， 我 们 还 没有 研 
发 出 对 抗 这 种 新 型 流感 病毒 的 疫苗 。 公 共 卫 生 专 家 能 做 的 只 是 减 慢 它 传 
播 的 速度 。 但 要 做 到 这 一 点 ， 他 们 必须 先知 道 这 种 流感 出 现在 哪里 。 


美国 ， 和 所 有 其 他 国家 一 样 ， 部 要 求 医生 在 发现 新 型 流感 病例 时 告 
知 疾病 控制 与 预防 中 心 。 但 由 于 人 们 可 能 患 病 多 日 实在 受 不 了 了 才 会 去 
医院 ， 同 时 这 个 信息 传达 回 疾 控 中 心 也 需要 时 间 ， 因 此 ， 通 告 新 流感 病 
例 时 往往 会 有 一 两 周 的 延迟 。 而 且 ， 疾 控 中 心 每 周 只 进行 一 次 数据 汇 
总 。 然 而 ， 对 于 一 种 飞速 传播 的 疾病 ， 信 息 滞 后 两 周 的 后 果 将 是 致命 
的 。 这 种 滞后 导致 公共 卫生 机 构 在 疫情 爆发 的 关键 时 期 反而 无 所 适 从 。 


在 甲 型 HIN1 流 感 爆 发 的 几 周 前 ， 互 联网 巨头 谷歌 公司 的 工程 师 们 
在 《 目 然 》 杂 志 上 发 表 了 一 篇 引 人 注 目的 论文 。 它 令 公共 卫生 官员 们 和 
计算 机 科学 家 们 感到 震惊 。 文 中 解释 了 谷歌 为 什么 能 够 预测 冬季 流感 的 
传播 : 不 仅 是 全 美 范围 的 传播 ， 而 且 可 以 具体 到 特定 的 地 区 和 州 。 谷 歌 
通过 观察 人 们 在 网 上 的 搜索 记录 来 完成 这 个 预测 ， 而 这 种 方法 以 前 一 下 
古 被 忽略 的 。 谷 歌 保存 了 多 年 来 所 有 的 搜索 记录 ， 而 且 每 天 都 会 收 到 来 
目 全 球 超 过 30 亿 条 的 搜索 指令 ， 如 此 庞大 的 数据 资源 足以 文 撑 和 帮助 它 
完成 这 项 工作 。 


谷歌 公司 把 5000 万 条 美国 人 最 频繁 检索 的 词 条 和 美国 疾 控 中 心 在 
2003 年 至 2008 年 间 季 节 性 流感 传播 时 期 的 数据 进行 了 比较 。 他 们 希望 通 
过 分 析 人 们 的 搜索 记录 来 判断 这 些 人 是 否 患 上 了 流感 ， 其 他 公司 也 曾 试 
图 确定 这 些 相 关 的 词 条 ， 但 是 他 们 缺乏 像 谷 歌 公 司 一 样 庞大 的 数据 资 
源 、 处 理 能 力 和 统计 技术 。 


虽然 谷歌 公司 的 员工 猜测 ， 特 定 的 检索 词 条 是 为 了 在 网 络 上 得 到 天 
于 流感 的 信息 ， 如 “哪些 是 治疗 咳嗽 和 发 热 的 药物 ”， 但 是 找 出 这 些 词 条 
并 不 是 重点 ， 他 们 也 不 知道 哪些 词 条 更 重要 。 更 关键 的 是 ， 他 们 建立 的 
系统 并 不 依赖 于 这 样 的 语义 理解 。 他 们 设立 的 这 个 系统 唯一 关注 的 就 是 












































特定 检索 词 条 的 使 用 频率 与 流感 在 时 间 和 空间 上 的 传播 之 间 的 联系 。 合 
歌 公 司 为 了 测试 这 些 检索 词 条 ， 总 共处 理 了 4.5 亿 个 不 同 的 数学 模型 。 

在 将 得 出 的 预测 与 2007 年 、2008 年 美国 疾 控 中 心 记录 的 实际 流感 病例 进 
行 对 比 后 ， 谷 歌 公司 发 现 ， 他 们 的 软件 发 现 了 45 条 检索 词 条 的 组 合 ， 将 
它们 用 于 一 个 特定 的 数学 模型 后 ， 他 们 的 预测 与 官方 数据 的 相关 性 高 达 
97%。 和 疾 控 中 心 一 样 ， 他 们 也 能 判断 出 流感 是 从 哪里 传播 出 来 的 ， 而 
eit a eee Rae ee 

I} 。 


ALA, 200926 FAAYHINI RE AI ie, Go) te HES Ja EY Be A 
据 相 比 ， 谷 歌 成 为 了 一 个 更 有 效 、 更 及 时 的 指示 标 。 公 共 卫 生机 构 的 官 
员 获 得 了 非常 有 价值 的 数据 信息 。 惊 人 的 是 ， 谷 歌 公司 的 方法 甚至 不 需 
要 分 发 口腔 试纸 和 联系 医生 一 一 它 是 建立 在 大 数据 的 基础 之 上 的 。 这 是 
当今 社会 所 独 有 的 一 种 新 型 能 力 : 以 一 种 前 所 未 有 的 方式 ， 通 过 对 海 
量 数据 进行 分 析 ， 获 得 有 巨大 价值 的 产品 和 服务 ， 或 深刻 的 洞 抑 。 基 
于 这 样 的 技术 理念 和 数据 储备 ， 下 一 次 流感 来 袭 的 时 候 ， 世 界 将 会 拥有 
一 种 更 好 的 预测 工具 ， 以 预防 流感 的 传播 。 


























大 数据 ， 变 单 商 业 


大 数据 不 仅 改变 了 公共 卫生 领域 ， 整 个 商业 领域 都 因为 大 数据 而 重 
新 洗 牌 。 购 买 飞 机 票 束 是 一 个 很 好 的 例子 。 


2003 年 ， 奥 伦 : 埃 齐 奥 尼 (Oren Etzioni) 准备 乘坐 从 西雅图 到 洛 杉 
矶 的 飞机 去 参加 朋 第 的 婚礼 。 他 知道 飞机 票 越 早 预订 越 便 宜 ， 于 是 他 在 
这 个 大 喜 日 子 来 临 之 前 的 几 个 月 ， 葡 在 网 上 预订 了 一 张 去 洛杉矶 的 机 
票 。 在 飞机 上 ， 埃 齐 奥 尼 好 奇 地 问 邻 座 的 乘客 伦 了 多 少 钱 购买 机 票 。 当 
得 知 虽 然 那 个 人 的 机 票 比 他 买 得 更 晚 ， 但 是 标价 却 比 他 便宜 得 多 时 ， 他 
感到 非 党 气愤。 于是， 他 又 询问 了 男 外 几 个 乘客 ， 结 末 发 现 大 家 买 的 聚 
居然 都 比 他 的 便宜 。 


对 大 多 数 人 来 说 ， 这 种 被 散 竹 杠 的 感觉 也 许 会 随 着 他 们 走 下 飞机 而 
消失 。 然 而 ， 埃 齐 奥 尼 是 美国 最 有 名 的 计算 机 专家 之 一 ， 从 他 担任 华 盛 
顿 大 学 人 工 智能 项 目的 负责 人 开始 ， 他 创立 了 许多 在 今天 看 来 非常 典型 
的 大 数据 公司 ， 而 那 时 候 还 没有 人 提出 “大 数据 ”这 个 概念 。 


1994 年 ， 挨 齐 奥 尼 帮 助 创建 了 最 早 的 互联 网 搜索 引擎 
MetaCrawler， 该 引擎 后 来 被 InfoSpace 公 司 收购 。 他 联合 创立 了 第 一 个 
大 型 比价 网 站 Netbot， 后 来 把 它 卖 给 了 Excite 公 司 。 他 创立 的 从 文本 中 
挖掘 信息 的 公司 ClearForest 则 被 路 透 社 收购 了 。 在 他 有 眼 中， 世界 就 是 一 
系列 的 大 数据 问题 ， 而 且 他 认为 自己 有 能 力 解 决 这 些 问 题 。 作 为 哈佛 大 
学 首届 计算 机 科学 专业 的 本 科 毕 业 生 ， 自 1986 年 毕业 以 来 ， 他 也 一 直 致 
力 于 解决 这 些 问题 。 


飞机 着 陆 之 后 ， 埃 齐 奥 尼 下 定 决 心 要 帮助 人 们 开发 一 个 系统 ， 用 来 
推测 当前 网 页 上 的 机 票 价格 是 否 合理 。 作 为 一 种 商品 ， 同 一 架 飞 机 上 每 
个 座位 的 价格 本 来 不 应 该 有 差别 。 但 实际 上 ， 价 格 却 干 兰 万 别 ， 其 中 缘 
由 只 有 航空 公司 自己 清楚 。 


埃 齐 奥 尼 表 示 ， 他 不 需要 去 解 开 机 票 价格 差异 的 奥秘 。 他 要 做 的 仅 
仅 是 预测 当前 的 机 票 价格 在 未 来 一 段 时 间 内 会 上 涨 还 是 下 降 。 这 个 想法 
古 可 行 的 ， 但 操作 起 来 并 不 是 那么 简单 。 这 个 系统 需要 分 析 所 有 特定 航 
线 机 票 的 销售 价格 并 确定 票 价 与 提前 购买 天 数 的 关系 。 


如 采 一 张 机 票 的 平均 价格 呈 下 降 趋 势 ， 系 统 就 会 帮助 用 户 做 出 稍 后 






































再 购 票 的 明智 选择 。 反 过 来 ， 如 果 一 张 机 票 的 平均 价格 呈 上 涨 趋势 ， 系 
统 台 会 提醒 用 户 立 刻 购买 该 机 票 。 换 言 之 ， 这 和 古 埃 齐 奥 尼 针 对 9000 米 高 
空 开发 的 一 个 加 强 版 的 信息 预测 系统 。 这 确实 是 一 个 浩大 的 计算 机 科学 
项 目 。 不 过 ， 这 个 项 目 是 可 行 的 。 于 是 ， 埃 齐 奥 尼 开 始 着 手 局 动 这 个 项 
Ho 
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这 个 预测 系统 建立 在 41 天 之 内 的 12000 个 价格 样本 基础 之 上 ， 而 这 些 数 
据 都 是 从 一 个 旅游 网 站 上 扑 取 过 来 的 。 这 个 预测 系统 并 不 能 说 明 原 因 ， 
只 能 推测 会 发 生 什么 。 也 就 是 说 ， 它 不 知道 是 哪些 因素 导致 了 机 票 价 格 
的 波动 。 机 票 降价 是 因为 有 很 多 没 卖 挥 的 座位 、 季 节 性 原因 ， 还 是 所 谓 
的 “ 周 六 晚上 不 出 门 >， 它 都 不 知道 。 这 个 系统 只 知道 利用 其 他 航班 的 数 
据 来 预测 未 来 机 票 价 格 的 走势 。“ 买 还 是 不 买 ， 这 是 一 个 问题 。” 埃 齐 奥 
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这 个 小 项 目 逐渐 发 展 成 为 一 家 得 到 了 风险 投资 基金 文 持 的 科技 创业 
公司 ， 名 为 Farecast。 通 过 预测 机 票 价格 的 走势 以 及 增 降 幅度 ，Farecast 
票 价 预测 工具 能 帮助 消费 者 抓 住 最 佳 购 买 时 机 ， 而 在 此 之 前 还 没有 其 他 
网 站 能 让 消费 者 获得 这 些 信息 。 


这 个 系统 为 了 保障 自身 的 透明 度 ， 会 把 对 机 票 价格 走势 预测 的 可 信 
度 标 示 出 来 ， 供 消费 者 参考 。 系 统 的 运转 需要 海量 数据 的 文 持 。 为 了 提 
高 预测 的 准确 性 ， 埃 齐 奥 尼 找 到 了 一 个 行业 机 票 预订 数据 库 。 而 系统 的 
预测 结果 是 根据 美国 商业 航空 产业 中 ， 每 一 条 航线 上 每 一 架 飞 机 内 的 每 
一 个 座位 一 年 内 的 综合 票 价 记 录 而 得 出 的 。 如 今 ，EFarecast 已 经 拥有 慰 
Suber Ales 行 数 据 记 录 。 利 用 这 种 方法 ，Farecast 为 消费 者 节省 
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他 看 上 去 完全 不 像 是 一 个 会 让 航空 业 损 失 数 百 万 潜在 收入 的 人 。 但 事实 
上 上 ， 他 的 目光 放 得 更 长 远 。2008 年 ， 埃 齐 奥 尼 计 划 将 这 项 技术 应 用 到 其 
他 领域 ， 比 如 宾馆 预订 、 二 手 车 购买 等 。 只 要 这 些 领 域内 的 产品 差异 不 
大 ， 同 时 存在 大 幅度 的 价格 差 和 大 量 可 运用 的 数据 ， 束 都 可 以 应 用 这 项 
技术 。 但 是 在 他 实现 计划 之 前 ， 微 软 公 司 找 上 了 他 并 以 1.1 亿 美元 的 价 
格 收购 了 Farecast 公 司 。 而 后 ， 这 个 系统 被 并 入 必 应 搜索 引擎 。 


大 数据 的 力量 



























































到 2012 年 为 止 ， _Farecast 系 统 用 了 将 近 十 万 亿 条 价格 记录 来 帮助 预 
测 美 国 国内 航班 的 票 价 。Farecast 票 价 预 测 的 准确 度 已 经 高 达 75%， 使 
用 Farecast 票 价 预测 工 具 购 买 机 票 的 旅客 ， 平 均 每 张 机 票 可 市 省 50 美 
Fe 


Farecast 是 大 数据 公司 的 一 个 缩影 ， 也 代表 了 当今 世界 发 展 的 趋 
势 。 五 年 或 者 十 年 之 前 ， 奥 伦 : 埃 齐 奥 尼 是 无 法 成 立 这 样 的 公司 的 。 他 
Ul: “这 是 不 可 能 的 。” 那 时 候 他 所 需要 的 计算 机 处 理 能 力 和 存储 能 力 太 
昂贵 了 ! 虽说 技术 上 的 突破 是 这 一 切 得 以 发 生 的 主要 原因 ， 但 也 有 一 些 
细微 而 重要 的 改变 正在 发 生 ， 特 别 是 人 们 关于 如 何 使 用 数据 的 理念 。 


























[1] 有 趣 的 是 ， 这 些 飞 行 记录 和 谷歌 的 搜索 记录 一 样 ， 也 可 以 用 来 
预测 和 评估 疾病 的 流行 。 有 兴趣 的 读者 可 以 参考 2010 年 第 12 期 《科学 通 
报 》 上 名 为 “HI1N1 甲 型 流感 全 球 航空 传播 与 早期 预警 研究 ”的 研究 论文 
以 及 2011 年 Bajardi 等 人 在 PLoS 。 ONE 上 发 表 的 名 为 “Human Mobility 
Networks, Travel Restrictions, and the Global Spread of 2009 H1N1 
Pandemic” 的 研究 论文 。 PATE 





大 数据 ， 变 车 思维 


人 们 不 再 认为 数据 是 静止 和 陈旧 的 。 但 在 以 前 ， 一 旦 完成 了 收集 数 
据 的 目的 之 后 ， 数 据 就 会 被 认为 已 经 没有 用 处 了 。 比 方 说 ， 在 飞机 降落 
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大 数据 铜 家 


如 今 ， 数 据 已 经 成 为 了 一 种 商业 资本 ， 一 项 重要 的 经 济 投 入 ， 可 以 
创造 新 的 经 济 利益 。 事 实 上 ， 一旦 思维 转变 过 来 ， 数 据 就 能 被 巧妙 地 用 
来 激发 新 产品 和 新 型 服务 。 数 据 的 奥妙 只 为 谦逊 、 愿 意 聆听 且 和 掌握 了 聆 
听 手 段 的 人 所 知 。 


言 恩 社 会 所 珊 来 的 好 处 是 显而易见 的 : 每 个 人 口袋 里 都 所 有 一 部 手 
机 ， 每 台 办 公 果 上 都 放 有 一 合 电脑 ， 每 间 办 公 室 内 都 拥有 一 个 大 型 局 域 
网 。 但 是 ， 信 息 本 里 的 用 处 却 并 没有 如 此 引 人 注 目 。 半 个 世纪 以 来 ， 随 
独 计算 机 技术 全 面 融入 社会 生活 ， 信 息 爆 炸 已 经 积累 到 了 一 个 开始 引发 
变革 的 程度 。 它 不 仅 使 世界 充斥 着 比 以 往 更 多 的 信息 ， 而 且 其 增长 速度 
也 在 加 快 。 信 息 总 量 的 变化 还 导致 了 信息 形态 的 变化 一 一 量变 引发 了 质 
变 。 最 先 经 历 信 息 焊 炸 的 学 科 ， 如 天 文学 和 基因 学 ， 创 造 出 了 “大 数 
ee 


大 数据 并 非 一 个 确切 的 概念 。 最 初 ， 这 个 概念 是 指 需要 处 理 的 信息 
量 过 大 ， 已 经 超出 了 一 般 电 脑 在 处 理 数据 时 所 能 使 用 的 内 存量 ， 因 此 工 
程 师 们 必须 改进 处 理 数据 的 工具 。 这 导致 了 新 的 处 理 技术 的 诞生 ， 例 如 
谷歌 的 MapReduce 和 开源 Hadoop 平 台 ( 最 初 源 于 雅虎 ) 。 这 些 技术 使 得 
人 们 可 以 处 理 的 数据 量 大 大 增加 。 更 重要 的 是 ， 这 些 数据 不 再 需要 用 传 
统 的 数据 库 表格 来 整齐 地 排列 一 一 一 些 可 以 消除 僵化 的 层次 结构 和 一 致 
性 9 的 技术 也 出 现 了 。 同 时 ， 因 为 互联 网 公司 可 以 收集 大 量 有 价值 的 数 
据 ， 而 且 有 利用 这 些 数 据 的 强烈 的 利益 驱动 力 ， 所 以 互联 网 公司 顺 理 成 
章 地 成 为 了 最 新 处 理 技 术 的 领头 实践 者 。 它 们 甚至 超过 了 很 多 有 几 十 年 
经 验 的 线 下 公司 ， 成 为 新 技术 的 领衔 使 用 者 。 


今天 ， 一 种 可 能 的 方式 是 ， 亦 是 本 书 及 取 的 方式 ， 认 为 大 数据 是 人 
们 在 大 规模 数据 的 基础 上 可 以 做 到 的 事情 ， 而 这 些 事情 在 小 规模 数据 的 
























































基础 上 是 无 法 完成 的 。 大 数据 是 人 们 获得 新 的 认 知 、 创 造 新 的 价值 的 
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这 仅仅 只 是 一 个 开始 ， 大 数据 时 代 对 我 们 的 生活 ， 以 及 与 世界 交流 
的 方式 都 提出 了 挑战 。 最 惊人 的 是 ， 社 会 需要 放弃 它 对 因果 关系 的 淘 
求 ， 而 仅 需 关注 相关 关系 。 也 就 是 说 只 需要 知道 是 什么 ， 而 不 需要 知道 
为 什么 。 这 就 推翻 了 自古 以 来 的 惯例 ， 而 我 们 做 决定 和 理解 现实 的 最 基 
本 方式 也 将 受到 挑战 。 



































OU 设计 人 员 如 果 没 有 大 数据 的 理念 ， 就 会 丢失 掉 很 多 有 价值 的 数 
据 。 璧 如 中 国 茶 城市 的 公交 车 因为 价格 不 依赖 于 起 点 和 终点 ， 所 以 能 够 
反映 重要 通勤 信息 的 数据 被 工作 人 员 * 目 作 主 张 ? 地 丢 关 了 。 一 一 详 者 注 


[2] 有 兴趣 的 读者 可 以 参考 2008 年 9 月 4 日 《 目 然 》 推 出 的 名 为 “大 数 
据 ” 的 专刊 。 一 一 译 者 注 


[3] 这 些 都 是 传统 数据 库 结构 化 查询 语言 (SQL) 的 要 求 ， 非 关系 
型 数据 库 (NoSQL) 不 再 有 这 些 要 求 。 译 者 注 








大 数据 ， 开 局 重大 的 时 代 转 型 


大 数据 开局 了 一 次 重大 的 时 代 转 型 。 与 其 他 新 技术 一 样 ， 大 数据 也 
必然 要 经 历 硅 谷 具 名 昭著 的 技术 成 熟 度 曲线 m: 经 过 新 闻 媒 体 和 学 术 会 
议 的 大 肆 宣 传 之 后 ， 新 技术 趋势 一 下 子 跌 到 谷 确 ， 许 多 数据 创业 公司 变 
得 发 有 可 和 危 。 当 然 ， 不 管 是 过 热 期 还 是 幻想 破灭 期 ， 都 非常 不 利于 我 们 
正确 理解 正在 发 生 的 变革 的 重要 性 。 


就 像 望远镜 能 够 让 我 们 感受 宇宙 ， 显 微 镜 能 够 让 我 们 观测 微生物 ， 
这 种 能 够 收集 和 分 析 海 量 数据 的 新 技术 将 帮助 我 们 更 好 地 理解 世界 一 一 
这 种 理解 世界 的 新 方法 我 们 现在 才 意 识 到 。 本 书 骨 在 如 实 表达 出 大 数据 
的 内 涵 ， 而 不 会 过 分 热 氛 它 。 当 然 ， 真 正 的 革命 并 不 在 于 分 析 数 据 的 机 
器 ， 而 在 于 数据 本 身 和 我 们 如 何 运 用 数据 。 


大 数据 先锋 
天 文学 ， 信 息 爆 炸 的 起 源 


只 有 考虑 到 社会 各 个 方面 的 变化 趋势 ， 我 们 才能 真正 意识 到 信息 爆 
炸 已 经 到 来 。 我 们 的 数字 世界 一 直 在 扩张 。 以 天 文学 为 例 ，2000 年 斯 隆 
数字 巡天 (Sloan Digital Sky Survey) 项 目 启动 的 时 候 ， 位 于 新 墨西哥 州 
的 望远镜 在 短 短 几 周 内 收集 到 的 数据 ， 已 经 比 天 文学 历史 上 总 共 收 集 的 
数据 还 要 多 。 到 了 2010 年 ， 信 息 档 案 已 经 高 达 1.4x2* 字 节 。 不 过 ， 预 计 
2016 年 在 智利 投入 使 用 的 大 型 视 场 全 景 巡 天 望远镜 (Large Synoptic 
Survey Telescope) 能 在 五 天 之 内 束 获 得 同样 多 的 信息 。 


天 文学 领域 的 变化 在 各 个 领域 都 在 发 生 。2003 年 ， 人 类 第 一 次 破译 
人 体 基因 密码 的 时 候 ， 辛 理工 作 了 十 年 才 完 成 了 三 十 亿 对 碱 基 对 的 排 
序 。 大 约 十 年 之 后 ， 世 界 范 围 内 的 基因 仪 每 15 分 钟 就 可 以 完成 同样 的 工 
作 。 在 金融 领域 ， 美 国 股市 每 天 的 成 交 量 高 达 70 亿 股 ， 而 其 中 三 分 之 二 
的 交易 都 是 由 建立 在 数学 模型 和 算法 之 上 的 计算 机 程序 自动 完成 的 。 这 
些 程序 运用 海量 数据 来 预测 利益 和 降低 风险 。 


互联 网 公司 更 是 要 被 数据 淹没 了 了 人。 谷歌 公 司 每 天 要 处 理 超过 24 拍 字 
节 2 的 数据 ， 这 意味 着 其 每 天 的 数据 处 理 量 是 美国 国家 图 书馆 所 有 纸 质 
出 版 物 所 含 数据 量 的 上 千 倍 。Facebook 这 个 创立 时 间 不 足 十 年 的 公司 ， 
每 天 更 新 的 照片 量 超 过 1000 万 张 ， 每 天 人 们 在 网 站 上 点 击 “ 嘉 


















































Xe” (Like) 按钮 或 者 写 评 论 大 约 有 三 十 亿 次 ， 这 就 为 Facebook 公 司 挖 掘 
用 户 喜好 提供 了 大 量 的 数据 线索 。 与 此 同时 ， 谷 歌 子 公 司 YouTube 每 月 
接待 多 达 8 亿 的 访客 ， 平 均 每 一 秒 钟 就 会 有 一 段 长 度 在 一 小 时 以 上 的 视 
频 上 传 。Twitter 上 的 信息 量 几 乎 每 年 翻 一 香 ， 和 截止 到 2012 年 ， 每 天 都 会 
发 布 超过 4 亿 条 微 博 。 


从 科学 研究 到 医疗 保险 ， 从 银行 业 到 互联 网 ， 各 个 不 同 的 领域 都 在 
讲述 着 一 个 类 似 的 故事 ， 那 就 是 爆发 式 增长 的 数据 量 。 这 种 增长 超过 了 
我 们 创造 机 器 的 速度 ， 甚 至 超过 了 我 们 的 想象 。 


我 们 周围 到 底 有 多 少数 据 ? 增长 的 速度 有 多 快 ? 许多 人 试图 测量 出 
一 个 确切 的 数字 。 尽 管 测量 的 对 象 和 方法 有 所 不 同 ， 但 他 们 都 获得 了 不 
同 程度 的 成 功 。 南 加 利 福 尼 亚 大 学 安 嫩 伯 格 通信 学 院 的 马丁 : 希 尔 伯 特 
(Martin Hilbert) 进行 了 一 个 比较 全 面 的 研究 ， 他 试图 得 出 人 类 所 创 
造 、 存 储 和 传播 的 一 切 信息 的 确切 数目 。 他 的 研究 范围 不 仅 包 括 书籍 、 
图 画 、 电 子 邮 件 、 照 片 、 音 乐 、 视 频 (模拟 和 数字 ) ， 还 包括 电子 游 
戏 、 电 话 、 汽 车 导航 和 信件 。 马 丁 : 希 尔 伯 特 还 以 收视 率 和 收听 率 为 基 
础 ， 对 电视 、 电 台 这 些 广播 媒体 进行 了 研究 。 


大 数据 的 力量 


据 他 估算 ，2007 年 ， 人 类 大 约 存 储 了 超过 300 艾 字 节 Bs 的 数据 。 下 面 
这 个 比喻 应 该 可 以 帮助 人 们 更 容易 地 理解 这 意味 着 什么 了 。 一 部 完整 的 
数字 电影 可 以 压缩 成 一 个 GB 的 文件 ， 而 一 个 艾 字 节 相 当 于 10 亿 GB,， 一 
个 泽 字 节 s 则 相当 于 1024 艾 字 节 。 总 之 ， 这 是 一 个 非常 庞大 的 数量 。 


有 趣 的 是 ， 在 2007 年 ， 所 有 数据 中 只 有 7% 是 存储 在 报纸 、 书 籍 、 
图 片 等 媒介 上 的 模拟 数据 8， 其 余 全 部 是 数字 数据 。 但 在 不 久之 前 ， 情 
况 却 完全 不 是 这 样 的 。 虽 然 1960 年 就 有 了 "信息 时 代 ” 和 “数字 村 镇 ?的 概 
念 ， 但 实际 上 ， 这 些 概念 仍然 是 相当 新 络 的 。 甚 全 在 2000 年 的 时 候 ， 数 
字 存 储 信 息 仍 只 占 全 球 数据 量 的 四 分 之 一 : 当时 ， 男 外 四 分 之 三 的 信息 
都 存储 在 报纸 、 胶 片 、 黑 胶 唱 片 和 盒 式 磁带 这 类 媒介 上 。 


早期 数字 信息 的 数量 是 不 多 的 。 对 于 长 期 在 网 上 冲浪 和 购书 的 人 来 
说 ， 那 只 是 一 个 微小 的 部 分 。 事 实 上 ， 在 1986 年 的 时 候 ， 世 界 上 约 40% 
的 计算 能 力 都 被 运用 在 袖珍 计算 器 上 ， 屠 时候 ， 所 有 个 人 电脑 的 处 理 能 
力 之 和 还 没有 所 有 袖珍 计算 器 处 理 能 力 之 和 高 。 但 是 因为 数字 数据 的 快 
速 增长 ， 整 个 局 势 很 快 就 题 倒 过 来 了 。 按 照 希 尔 伯 特 的 说 法 ， 数 字数 据 















































ee eee ee ee ee ne 
Ho 





大 数据 的 力量 


到 2013 年 ， 世 界 上 存储 的 数据 预计 能 达到 约 1.2 渗 字 节 ， 其 中 非 数 
字数 据 只 占 不 到 2%。 


这 样 大 的 数据 量 意 味 着 什么 ”如 果 把 这 些 数 据 全 部 记 在 书 中 ， 这 些 
书 可 以 履 盖 整个 美国 52 次 。 如 果 将 之 存储 在 只 读 光 盘 上 ， 这 些 光 盘 可 以 
堆 成 五 堆 ， 每 一 扒 都 可 以 伸 到 月 球 。 公 元 前 3 世纪 ， 埃 及 的 托 勒 密 二 世 
竭力 收集 了 当时 所 有 的 书写 作品 ， 所 以 伟大 的 亚历山大 图 书馆 可 以 代表 
世界 上 所 有 的 知识 量 。2 但 当 数 字数 据 潜 流 席卷 世界 之 后 ， 每 个 地 球 人 
和 320 售 之 多 。 


事情 真 的 在 快速 发 展 。 人 类 存储 信息 量 的 增长 速度 比 世 界 经 济 的 
增长 速度 快 4 倍 ， 而 计算 机 数据 处理 能 力 的 增长 速度 则 比 世 界 经 济 的 增 
长 速度 快 9 倍 。 难 怪人 们 会 抱怨 信息 过 量 ， 因 为 每 个 人 都 受到 了 这 种 极 
速 发 展 的 冲击 。 


把 眼光 放 远 一 点 ， 我 们 可 以 把 时 下 的 信息 潜流 与 1439 年 前 后 古 登 您 
发 明 印 刷机 8 时 造成 的 信息 爆炸 相对 比 。 历 史学 家 伊丽莎白 : 爱 森 斯 坦 
(Elizabeth Eisenstein)〉 发 现 ，1453 一 1503 年 ， 这 50 年 之 间 大 约 有 800 万 
本 书籍 被 印刷 ， 比 1200 年 之 前 君 士 坦 丁 堡 建 立 以 来 整个 欧洲 所 有 的 手 抄 
书 还 要 多 。 换 言 之 ， 欧 洲 的 信息 存储 量 花 了 50 年 才 增 长 了 一 倍 (当时 的 
欧洲 还 占据 了 世界 上 相当 部 分 的 信息 存储 份额 ) ， 而 如 今 大 约 每 三 年 就 


能 增长 一 僧 。 


这 种 增长 意味 着 什么 呢 ? IRE ERS (Peter Norvig) 是 谷歌 的 人 
工 智能 专家 ， 也 曾 任职 于 美国 宇航 局 喷气 推进 实验 室 ， 他 喜欢 把 这 种 增 
长 与 图 男 进行 类 比 。 首 先 ， 他 要 我 们 想 想 来 自 法 国 拉 斯 科 洞穴 壁画 上 的 
标志 性 的 马 。 这 些 画 可 以 退 调 到 一 万 七 千年 之 前 的 旧 石 圳 时 代 。 然 后 ， 
想 想 一 张 马 的 照片 ， 再 想 想 毕加索 的 画 也 可 以 ， 看 起 来 和 那些 洞 六 壁画 
没有 多 大 的 差别 。 事 实 上 ， 毕 加 索 看 到 那些 洞 六 壁画 的 时 候 就 曾 开玩笑 
说 :“ 自 那 以 后 ， 我 们 就 再 也 没有 创造 出 什么 东西 了 。” 


他 的 话 既 正确 又 不 完全 正确 。 你 回想 一 下 壁画 上 的 那 丐 马 。 当 时 要 









































画 一 幅 蕊 需要 花费 很 人 的 时 间 ， 而 现在 不 需要 那么 和信 了。 这 就 是 一 种 改 
变 ， 虽 然 改变 的 可 能 不 是 最 核心 的 部 分 一 一 毕 葛 这 仍然 是 一 幅 马 的 图 

像 。 但 是 诡 维 格 说 ， 想 象 一 下 ， 现 在 我 们 能 每 秒 钟 播放 24 幅 不 同形 态 的 
马 的 图 片 ， 这 就 是 一 种 由 量变 导致 的 质变 : 一 部 电影 与 一 幅 静 态 的 画 有 
本 质 上 的 区 别 ! 大 数据 也 一 样 ， 量 变 导致 质变 。 物 理学 和 生物 学 都 千 

诉 我 们 ， 妆 我 们 改变 规模 时 ， 事 物 的 状态 有 了 时 也 会 发 生 改 变 。 


我 们 就 以 纳米 技术 为 例 。 纳 米 技术 专注 于 把 东西 变 小 而 PERR. 
原理 就 是 当 事 物 到 达 分 子 的 级 别 时 ， 它 的 物理 性 质 束 会 发 生 改变 。 
旦 你 知道 这 些 新 的 性 质 ， 你 就 可 以 用 同样 的 原料 来 做 以 前 无 法 做 的 事 
情 。 铜 本 来 是 用 来 导电 的 物质 ， 但 它 一 旦 到 达 纳 米 级 别 就 不 能 在 磁场 中 
号 电 了 。 银 离子 具有 抗菌 性 ， 但 当 它 以 分 子 形式 存在 的 时 候 ， 这 种 性 质 
会 消失 。 一 旦 到 达 纳 米 级 别 ， 金 属 可 以 变 得 柔软 ， 陶 土 可 以 具有 弹性 。 
同样 ， 当 我 们 增加 所 利用 的 数据 量 时 ， 我 们 就 可 以 做 很 多 在 小 数据 量 的 
基础 上 无 法 完成 的 事情 。 


有 时 候 ， 我 们 认为 约束 我 们 生活 的 那些 限制 ， 对 于 世间 万 物 都 有 着 
同样 的 约束 力 。 事 实 上， 尽管 规律 相同 ， 但 是 我 们 能 够 感受 到 的 约束 ， 
很 可 能 只 对 我 们 这 样 尺 度 的 事物 起 作用 。 对 于 人 类 来 说 ， 唯 一 一 个 最 重 
要 的 物理 定律 便 是 万 有 引力 定律 。 这 个 定 ee 
但 对 于 细小 的 昆虫 来 说 ， 重 力 古 无 关 紧 要 的 。9 对 它们 而 言 ， 物 理 宇 
中 有 效 的 约束 是 表面 张力 ， 这 个 犬 力 可 以 让 它们 在 水 上 自卫 行走 而 不 会 
tt RA. BAKHTARI ENER. 


对 于 万 有 引力 产生 的 约束 效果 而 言 AERA AZ) ESE ae E. 
类 似 地 ， 对 于 信息 而 言 ， 规 模 也 是 非常 重要 的 。 谷 歌 能 够 几 近 完美 地 给 
出 和 基于 大 量 真 实 病例 信息 所 得 到 的 流感 情况 一 致 的 结果 ， 而 且 几 乎 是 
实时 的 ， 比 疾 控 中 心 快 多 了 。 同 样 ，Farecast 可 以 预测 机 票 价格 的 波 
动 ， 从 而 让 消费 者 真正 在 经 济 上 获 利 。 它 们 之 所 以 如 此 给 力 ， 都 因为 存 
在 供 其 分 析 的 数 千 亿 计 的 数据 项 。 


KB A 


大 数据 的 科学 价值 和 社会 价值 正 是 体现 在 这 里 。 一 方面 ， 对 大 数据 
的 擎 握 程 度 可 以 转化 为 经 济 价值 的 来 源 。 另 一 方面 ， 大 数据 已 经 撼动 了 
世界 的 方方面面 ， 从 商业 科技 到 医疗 、 政 府 、 教 育 、 经 济 、 人 文 以 及 社 
会 的 其 他 各 个 领域 。 
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尽管 我 们 仍 处 于 大 数据 时 代 来 临 的 前 夕 ， 但 我 们 的 日 常生 活 已 经 离 
不 开 它 了 。 垃 圾 邮件 过 滤器 可 以 自动 过 小 垃圾 邮件 ， 尺 省 它 并 不 知 
道 “发 # 宗 # 销 # 售 "是 “发 昧 销售 ”的 一 种 变 体 。 交 友 网 站 根据 个 人 的 性 格 
与 之 前 成 功 配 对 的 情侣 之 间 的 关联 来 进行 新 的 配对 。 具 有 “自动 改正 ” 功 
能 的 智能 手机 通过 分 析 我 们 以 前 的 输入 ， 将 个 性 化 的 新 单词 添加 到 手机 
词典 里 。 然 而 ， 对 于 这 些 数据 的 利用 还 仅仅 只 是 一 个 开始 。 从 可 以 目 动 
转弯 和 刹车 的 汽车 ， 到 IBM 沃 森 超 级 电脑 在 游戏 节目 《危险 边缘 》 
Fe a aaa 
JY 和 东西。 











O 技术 成 熟 度 曲线 又 叫 技术 循环 曲线 ， 或 者 直接 叫做 炒作 周期 ， 
是 指 狐 技术 、 新 概念 在 媒体 上 曝光 上 度 随时 间 的 变化 曲线 。 一 一 译 者 注 








[2] 拍 字 节 ， 一 般 记 作 PB， 等 于 2”* 字 节 。 一 一 译 者 注 
[3] EFT, 一般 记 作 EB， 等 于 2* 字 节 。 一 一 译 者 注 
[4] 泽 字 节 ， 一 般 记 作 ZB， 等 于 2" 字 节 。 一 一 译 者 注 





[5] 模拟 数据 也 称 为 模拟 量 ， 相 对 于 数字 量 而 言 ， 指 的 是 取 值 范围 
是 连续 的 变量 或 者 数值 ， 例 如 声音 、 图 像 、 温 度 、 压 力 等 。 模 拟 数据 一 
ee ee eee 
一 一 译 者 注 


[6] 数字 数据 也 称 为 数字 量 ， 相 对 于 模拟 量 而 言 ， 指 的 是 取 值 范围 
古 离散 的 变量 或 者 数值 。 数 字数 据 则 采用 数字 信号 ， 例 如 用 一 系列 断 续 
变化 的 电压 脉冲 (如 用 恒定 的 正 电压 表示 二 进 制 数 1， 用 恒定 的 负电 压 
表示 二 进 制 数 0) 或 光 脉冲 来 表示 。 译 者 注 


[7] WAWAA BERBER, AH naet% AE 
卷 ) ,包括 《 荷 马 更 许 》、《 几 何 原本 》 等 。 亚 历 山大 图 书馆 建成 之 时 
正 是 中 国 战国 时 代 的 未 期 ， 此 时 百家争鸣 ， 较 有 影响 的 十 大 家 CH 
道 、 墨 、 法 、 名 、 了 阴阳、 纵横 、 杂 、 农 、 小 说 ) 多 有 著述 ， 且 已 出 现 如 
(诗经) CERD 、《 离 双 》 等 文学 作品 ， 虽 没有 像 亚历山大 图 书包 
一 样 的 集中 式 藏书 中 心 ， 但 也 占据 了 世界 知识 量 的 相当 份额 。 一 — 译 者 
注 


























[8] 据 《 中 国 出 版 史 》 记 载 ， 中 国 的 毕 异 早 在 11 世 纪 40 年 代 就 发 明 


了 泥 活字 印刷 ， 远 远 早 于 古 登 堡 15 世 纪 30 年 代 发 明 的 铅 活字 。 一 一 编者 
省 

[9] 这 是 一 个 美妙 有 趣 的 例子 ， 但 是 对 于 学 习 物 理 的 人 来 说 总 是 有 
些 怪异 。 显 然 ， 万 有 引力 一 如 既往 起 着 作用 ， 不 过 是 因为 空气 阻力 在 不 
同 密度 和 体积 的 物体 上 产生 了 不 同 的 效果 。 如 果 把 蜂 螂 从 真空 环境 的 高 
REPT, Ret eM e ab. 译 者 注 








预测 ， 大 数据 的 核心 


大 数据 的 核心 束 是 预测 。 它 通 肖 被 视 为 人 工 入 能 的 一 部 分 ， 或 者 更 
确切 地 说 ， 被 视 为 一 种 机 器 学 习 。 但 是 这 种 定义 是 有 误导 性 的 。 大 数据 
不 是 要 教 机 器 像 人 一 样 思 考 。 相 反 ， 它 是 把 数学 算法 运用 到 海量 的 数据 
上 来 预测 事情 发 生 的 可 能 性 。 一 封 邮件 被 作为 垃圾 邮件 过 小 挥 的 可 能 
性 ， 输 入 的 “teh” 应 该 是 “the” 的 可 能 性 ， 从 一 个 人 乱 军马 路 时 行进 的 轨 
迹 和 速度 来 看 他 能 及 时 罕 过 马路 的 可 能 性 ， 都 是 大 数据 可 以 预测 的 范 
围 。 当 然 ， 如 果 一 个 人 能 及 时 穿 过 马路 ， 那 么 他 乱 罕 马路 时 ， 车 子 就 只 
需要 稍 和 减速 就 好 。 这 些 预 测 系统 之 所 以 能 够 成 功 ， 关 键 在 于 它们 是 建 
立 在 海量 数据 的 基础 之 上 的 。 此 外 ， 随 着 系统 接收 到 的 数据 越 来 越 多 ， 
它们 可 以 聪明 到 自动 搜索 最 好 的 信号 和 模式 ， 并 上 自己 改善 自己 。 


在 不 久 的 将 来 ， 世 界 许多 现在 单纯 依靠 人 类 判断 力 的 领域 都 会 被 计 
算 机 系统 所 改变 甚至 取代 。 计 算 机 系统 可 以 发 挥 作用 的 领域 远 远 不 止 驾 
怠 和 交友 ， 还 有 更 多 更 复杂 的 任务 。 别 忘 了 ， 亚 马 还 可 以 帮 我 们 推荐 想 
要 的 书 ， 谷 歌 可 以 为 关联 网 站 排序 ，Facebook 知 道 我 们 的 喜好 ， 而 
LinkedIn 可 以 猜 出 我 们 认识 谁 。2 当 然 ， 同 样 的 技术 也 可 以 运用 到 疾病 诊 
上 晰 、 推 荐 治疗 措施 ， 甚 至 是 识别 湾 在 犯罪 分 子 上 。 


就 像 互 联网 通过 给 计算 机 添加 通信 功能 而 改变 了 世界 ， 大 数据 也 将 
改变 我 们 生活 中 最 重要 的 方面 ， 因 为 它 为 我 们 的 生活 创造 了 前 所 未 有 的 
A IE RAIF o 























[1 系统 可 以 通过 一 种 “反馈 学 习 ” 的 机 制 ， 利 用 自己 产生 的 数据 判 
A es ee 
现 。 译 者 注 


2) 这 些 任 务 都 和 个 性 化 技术 相关 ， 包 括 个 性 化 排序 和 个 性 化 推 
莽 。 个 性 化 技术 是 大 数据 时 代 最 重要 的 技术 ， 这 里 向 专业 读者 推荐 吕 琳 
媛 等 人 2012 年 在 《Physics Reports》 上 发 表 的 名 为 "Recommender 
Systems” 的 综述 。 一 一 译 者 注 
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大 数据 的 精髓 在 于 我 们 分 析 信 息 时 的 三 个 转变 ， 这 些 转 变 将 改变 我 
们 理解 和 组 建 社会 的 方法 。 


第 一 个 转变 束 是 ， 在 大 数据 时 代 ， 我 们 可 以 分 析 更 多 的 数据 ， 有 
时 候 甚 至 可 以 处 理 和 某 个 特别 现象 相关 的 所 有 数据 ， 而 不 再 依赖 于 随 
机 及 样 。 这 部 分 内 容 将 在 第 1 半 阐 述 。19 世 纪 以 来 ， 当 面临 大 量 数据 
时 ， 社 会 都 依赖 于 采样 分 析 。 但 是 采样 分 析 是 信息 缺乏 时 代 和 信息 流通 
受 限 制 的 模拟 数据 时 代 的 产物 。 以 前 我 们 通常 把 这 看 成 是 理所当然 的 限 
制 ， 但 高 性 能 数字 技术 的 流行 让 我 们 意识 到 ， 这 其 实 是 一 种 人 为 的 限 
制 。 与 局 限 在 小 数据 范围 相 比 ， 使 用 一 切 数据 为 我 们 带 来 了 更 高 的 精确 
性 ， 也 让 我 们 看 到 了 一 些 以 前 无 法 发 现 的 细节 一 一 大 数据 让 我 们 更 清楚 
地 看 到 了 样本 无 法 揭示 的 细 市 信息 。 


第 二 个 改变 就 是 ， 研 究 数 据 如 此 之 多 ， 以 至 于 我 们 不 再 热衷 于 退 
求 精确 度 。 这 部 分 内 容 将 在 第 2 章 曾 述 。 当 我 们 测量 事物 的 能 力 受 限 
时 ， 关 注 最 重要 的 事情 和 获取 最 精确 的 结果 是 可 取 的 。 如 采购 买 者 不 知 
道 牛 群 里 有 80 头 牛 还 是 100 头 牛 ， 那 么 交易 就 无 法 进行 。 直 到 今天 ， 我 
们 的 数字 技术 依然 建立 在 精准 的 基础 上 。 我 们 假设 只 要 电子 数据 表格 把 
和 


























这 种 思维 方式 适用 于 车 握 “小 数据 量 ” 的 情况 ， 因 为 需要 分 析 的 数据 
很 少 ， 所 以 我 们 必须 尽 可 能 精准 地 量化 我 们 的 记录 。 在 某 些 方面 ， 我 们 
己 经 意识 到 了 差别 。 例 如 ， 一 个 小 商店 在 晚上 打 料 的 时 候 要 把 收银 人 台 里 
的 每 分 钱 都 数 清楚 ， 但 是 我 们 不 会 、 也 不 可 能 用 “分 ?这 个 单位 去 精确 度 
量 国民 生产 总 值 。 随 着 规模 的 扩大 ， 对 精确 度 的 痴迷 将 减弱 。 


达到 精确 需要 有 专业 的 数据 库 。 针 对 小 数据 量 和 特定 事情 ， 退 求 精 
确 性 依然 是 可 行 的 ， 比 如 一 个 人 的 银行 账户 上 是 否 有 足够 的 钱 开 有 具 文 
票 。 但 是 ， 在 这 个 大 数据 时 代 ， 很 多 时 候 ， 退 求 精 确 度 已 经 变 得 不 可 
行 ， 甚 至 不 受 欢 迎 了 。 当 我 们 拥有 海量 即时 数据 时 ， 绝 对 的 精准 不 再 是 
我 们 退 求 的 主要 目标 。 


大 数据 纷 么 多 样 ， 优 劣 掺 洒 ， 分 布 在 全 球 多 个 服务 器 上 。 拥 有 了 大 
数据 ， 我 们 不 再 需要 对 一 个 现象 刨 根 究 展 ， 只 要 掌握 大 体 的 发 展 方 问 即 




















可 。 当 然 ， 我 们 也 不 是 完全 放 莽 了 精确 度 ， 只 是 不 再 沉迷 于 此 。 适 当 忽 
上 略微 观 层面 上 的 精确 度 会 让 我 们 在 宏观 层面 拥有 更 好 的 洞察 力 。 


第 三 个 转变 因 前 两 个 转变 而 促成 ， 即 我 们 不 再 热衷 于 寻找 因果 关 
系 。 这 部 分 内 容 将 在 第 3 间 阐 述 。 寻 找 因 果 关 系 是 人 类 长 久 以 来 的 习 
。 即 使 确定 因果 关系 很 困难 而 且 用 途 不 大 ， 人 类 还 是 习惯 性 地 寻找 缘 
。 相 反 ， 在 大 数据 时 代 ， 我 们 无 须 再 紧 采 事物 之 间 的 因果 关系 ， 而 应 
该 寻找 事物 之 间 的 相关 关系 ， 这 会 给 我 们 提供 非常 新 其 且 有 价值 的 观 
扩 。 相 关 关 系 也 许 不 能 准确 地 告知 我 们 某 件 事 情 为 何 会 及 生 ， 但 是 它 会 
Sn ee ee een 


OUR BUA 7 RLY BIT Whe MAN ETT A bn] a] DRE RE ZAG AY WAI 
FP REE, ABA PR h ALAS EN 25 BRL SC AR IT TIE AR OR GG BE 
同样 ， 只 要 我 们 知道 什么 时 候 是 买 机票 的 最 佳 时 机 ， 就 算 不 知道 机 票 价 
格 疯狂 变动 的 原因 也 无 所 谓 了 。 大 数据 告诉 我 们 “是 什么 ”而 不 是 “为 什 
ee ae FURIE, RITR ZLEZE 
ORF 


我 们 不 再 需要 在 还 没有 收集 数据 之 前 ， 就 把 我 们 的 分 析 建 立 在 早已 
设立 的 少量 假设 的 基础 之 上 。 让 数据 发 声 ， 我 们 会 注意 到 很 多 以 前 从 来 
没有 意识 到 的 联系 的 存在 。 


例如 ， 对 冲 基 金 通 过 剖析 社交 网 络 Twitter 上 的 数据 信息 来 预测 股市 
的 表现 ; TEAMA K (Netflix) za 根据 用 户 在 其 网 站 上 的 类 似 查询 来 
进行 产品 推荐 ; Twitter，Facebook 和 LinkedIn 通 过 用 户 的 社交 网 络 图 来 
得 知 用 户 的 喜好 。 


当然 ， 人 类 从 数 千 年 前 就 开始 分 析 数 据 。 古 代 美 索 不 达 米 亚 平 原 的 
记 账 人 员 为 了 有 效 地 跟踪 记录 信息 发 明了 书写 。 目 从 圣经 时 代 开 始 ， 政 
府 就 通过 进行 人 口 普 碍 来 建立 大 型 的 国民 数据 库 。 两 百 多 年 来 ， 精 算 师 
们 也 一 直通 过 搜集 大 量 的 数据 来 进行 风险 规避 。 


模拟 时 代 的 数据 收集 和 分 析 极 其 耗 时 耗 力 ， 新 问题 的 出 现 通 常 要 求 
我 们 重新 收集 和 分 析 数 据 。 数 字 化 的 到 来 使 得 数据 管理 效率 义 向 前 迈 出 
了 重要 的 一 步 。 数 字 化 将 模拟 数据 转换 成 计算 机 可 以 读 取 的 数字 数据 ， 
使 得 存储 和 处 理 这 些 数据 变 得 既 便 宜 又 容易 ， 从 而 大 大 提高 了 数据 管理 
效率 。 过 去 需要 几 年 时 间 才 能 完成 的 数据 搜集 ， 现 在 只 要 几 天 就 能 完 
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成 。 但 是 ， 光 有 改变 还 远 远 不 够 。 数 据 分 析 者 太 沉浸 于 模拟 数据 时 代 的 
设想 ， 即 数据 库 只 有 单一 的 用 途 和 价值 ， 而 正 是 我 们 使 用 的 技术 和 方法 
加 深 了 这 种 偏见 。 虽 然 数字 化 是 促成 回 大 数据 转变 的 重要 原因 ， 但 仅 有 
计算 机 的 存在 却 不 足以 实现 大 数据 。 


我 们 没有 办 法 准确 描述 现在 正在 发 生 的 一 切 ， 但 是 在 第 4 章 将 提 到 
的 “数据 化 ?概念 可 以 帮助 我 们 大 致 了 解 这 次 变 车 。 数 据 化 意味 看 我 们 要 
从 一 切 太 阳 底 下 的 事物 中 汲取 信息 ， 甚 至 包括 很 多 我 们 以 前 认为 和 “ 信 
恩 ” 根 本 搭 不 上 边 的 事情 。 比 方 说 ， 一 个 人 所 在 的 位 置 、 引 苟 的 振动 、 
桥 染 的 承重 等 。 我 们 要 通过 量化 的 方法 把 这 些 内 容 转化 为 数据 。 这 就 使 
得 我 们 可 以 答 试 许多 以 前 无 法 做 到 的 事情 ， 如 根据 引擎 的 散热 和 振动 来 
预测 引擎 是 否 会 出 现 故 障 。 这 样 ， 我 们 束 激 发 出 了 这 些 数据 此 前 未 被 控 
掘 的 潜在 价值 。 


大 数据 时 代 开 局 了 一 场 寻 宇 游戏 ， 而 人 们 对 于 数据 的 看 法 以 及 对 
于 由 因果 关系 回 相 关 关 系 转化 时 释放 出 的 潜在 价值 的 态度 ， 正 是 主 宣 
这 场 游 戏 的 关键 。 新 兴 技 术 工 具 的 使 用 使 这 一 切 成 为 可 能 。 宇 贝 不 止 一 
件 ， 每 个 数据 集 凡 部 都 隐藏 痢 茶 些 未 被 友 掘 的 价值 。 这 场 发 所 和 利用 数 
据 价 值 的 竞赛 正 开始 在 全 球 上 演 。 


第 5 章 和 第 6 章 将 讲述 大 数据 如 何 改变 了 了 商业、 市场 和 社会 的 本 质 。 
20 世 纪 ， 价 值 已 经 从 实体 基建 转变 为 无 形 财产 ， 从 土地 和 工厂 转变 为 蝇 
牌 和 产权 。 如 今 ， 一 个 新 的 转变 正在 进行 ， 那 就 是 电脑 存储 和 分 析 数 据 
的 方法 取代 电脑 硬件 成 为 了 价值 的 源 果 。 数 据 成 为 了 有 价值 的 公司 资 
产 、 重 要 的 经 济 投入 和 新 型 商业 模式 的 基石 。 虽 然 数 据 还 没有 被 列 入 企 
业 的 资产 负债 表 ， 但 这 只 是 一 个 时 间 问 题 。 


虽然 有 些 数据 处 理 技术 已 经 出 现 了 一 段 时 间 ， 但 是 它们 只 为 调查 
局 、 研 究 所 和 世界 上 的 一 些 巨头 公司 所 掌握 。 沃 尔 玛 和 美国 第 一 资本 银 
ÍT (CapitalOne) 率先 将 大 数据 运用 在 了 零售 业 和 银行 业 ， 因 此 改变 了 
整个 行业 。 如 今 这 些 技术 大 多 都 实现 了 大 众 化 。 


大 数据 对 个 人 的 影响 是 最 惊人 的 。 在 一 个 可 能 性 和 相关 性 占 主导 地 
位 的 世界 里 ， 专 业 性 变 得 不 那么 重要 了 。 行 业 专 家 不 会 消失 ， 但 是 他 们 
必须 与 数据 表达 的 信息 进行 博 奔 。 如 同 在 电影 《点 球 成 金 》 
(Moneyball) 里 ， 棒 球星 探 们 在 统计 学 家 面前 相形 见 绸 直觉 的 判 
断 被 过 让 位 于 精准 的 数据 分 析 。 这 将 迫使 人 们 调整 在 管理 、 决 策 、 人 力 
资源 和 教育 方面 的 传统 理念 。 









































我 们 大 部 分 的 习俗 和 惯例 都 建立 在 一 个 预 设 好 的 立场 上 ， 那 就 是 我 
们 用 来 进行 决策 的 信息 必须 是 少量 、 精 确 并 且 至 关 重 要 的 。 但 是 ， 当 数 
气量 变 大 、 数 据 处 理 速度 加 快 ， 而 且 数 据 变 得 不 那么 精确 时 ， 之 前 的 那 
些 预 设立 场 就 不 复 存 在 了 。 此 外 ， 因 为 数据 量 极为 庞大 ， 最 后 做 出 决策 
的 将 是 机 器 而 不 是 人 类 自己 。 第 7 章 将 会 讨论 大 数据 的 负面 影响 。 


在 了 解 和 监视 人 类 的 行为 方面 ， 社 会 已 经 有 了 数 干 年 的 经 验 。 但 
是 ， 如 何 来 监管 一 个 算法 系统 昵 ?在 信息 化 时 代 的 早期 ， 有 一 些 政策 专 
家 就 看 到 了 信息 化 给 入 们 的 隐私 权 带 来 的 威胁 ， 社 会 也 已 经 建立 起 了 庞 
大 的 规则 体系 来 保 隐 个 人 的 信息 安全 。 但 是 在 大 数据 时 代 ， 这 些 规则 都 
成 了 无 用 的 马 其 话 防线 a。 人 们 目 愿 在 网 络 上 分 享 信息 ， 而 这 种 分 且 的 
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对 我 们 而 言 ， 和 危险 不 再 是 隐私 的 泄露 ， 而 是 被 预知 的 可 能 性 一 一 这 
些 能 预测 我 们 可 能 生病 、 拖 欠 还 蒜 和 犯罪 的 算法 会 让 我 们 无 法 购买 保 
险 、 无 法 贷款 、 甚 至 在 实施 犯罪 前 就 被 预先 隶 捕 。 显 然 ， 统 计 把 大 数据 
BE SA he, (ARNO, SAGER MARE TK BG EWE? 就 
像 出 版 印刷 行业 的 发 展 推动 国家 立法 保护 言论 自由 在 此 之 前 没有 出 台 
类 似 法 律 的 必要 ， 因 为 没有 太 多 的 言论 需要 保护 ) ， 大 数据 时 代 也 需要 
新 的 规章 制度 来 保卫 权势 面前 的 个 人 权利 。 


政府 机 构 和 社会 在 控制 和 处 理 数据 的 方法 上 必须 有 全 方位 的 改变 。 
不 可 否认 ， 我 们 进入 了 一 个 用 数据 进行 预测 的 时 代 ， 虽 然 我 们 可 能 无 法 
解释 其 背后 的 原因 。 如 果 一 个 医生 只 要 求 病人 遵从 医嘱 ， 却 没 法 说 明 医 
学 干预 的 合理 性 的 话 ， 情 况 会 怎么 样 呢 ? 实 际 上 ， 这 是 依 徘 大 数据 取得 
病理 分 析 的 医生 们 一 定 会 做 的 事情 。 还 有 司法 系统 的 “合理 证 据 ? 是 不 是 
应 该 改 为 “可 能 证 据 ? 呢 ? 如 果真 是 这 样 ， 会 对 人 类 目 由 和 尊严 产生 什么 


影响 呢 ? 

我 们 在 大 数据 时 代 倡 导 的 一 系列 规范 将 在 第 8 章 进 行 介 绍 。 这 些 规 
范 建 立 在 我 们 很 熟悉 的 “小 数据 ?时 代 发 展 并 保留 下 来 的 规范 的 基础 之 
上 。 新 环境 要 求 旧 规范 与 时 俱 进 。 
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大 数据 给 社会 带 来 的 蔓 处 将 是 多 方面 的 。 因 为 大 数据 已 经 成 为 解决 
紧迫 世界 性 问题 ， 如 抑制 全 球 变 暖 、 消 除 疾病 、 提 高 执政 能 力 和 发 展 经 
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大 数据 标志 着 人 类 在 寻求 量化 和 认识 世界 的 道路 上 前 进 了 一 大 步 。 
过 去 不 可 计量 、 存 储 、 分 析 和 共享 的 很 多 东西 都 被 数据 化 了 。 拥 有 大 量 
的 数据 和 更 多 不 那么 精确 的 数据 为 我 们 理解 世界 打开 了 一 忆 新 的 大 门 。 
社会 因此 放弃 了 寻找 因果 关系 的 传统 偏好 ， 开 始 挖掘 相关 关系 的 好 处 。 


寻找 原因 是 一 种 现代 社会 的 一 神 论 ， 大 数据 推翻 了 这 个 论断 。 但 我 
们 又 陷入 了 一 个 历史 的 困境 ， 那 融 是 我 们 活 在 一 个 “上 各 已 死 ” 的 时 代 。 
也 惑 是 说 ， 我 们 曾经 坚守 的 信念 动 播 了 。 讽 刺 的 是 ， 这 些 信念 正在 
被 “更 好 ”的 证 据 所 取代 。 那 么 ， 从 经 验 中 得 来 的 与 证 据 相 矛盾 的 直觉 、 
信念 和 迷 蛋 应 该 充当 什么 角色 呢 ? 当 世界 由 探求 因果 关系 变 成 挖掘 相关 
关系 ， 我 们 怎样 才能 既 不 损坏 建立 在 因果 推理 基础 之 上 的 社会 宗 荣 和 人 
类 前 行 的 基石 ， 又 取得 实际 的 进步 呢 ? 本 书 意 在 解释 我 们 吴 在 何 处 ， 我 
们 从 何 而 来 ， 并 且 提 供 当 下 鹃 需 的 指导 ， 以 应 对 眼前 的 利益 和 危险 。 























[1] Netflix， 也 常 译作 网 狸 公 司 。 一 一 译 者 注 


[2] Dati Sek AE IEA AGUA, ABE A tem tee 
东北 边境 地 区 构筑 的 筑 垒 配 系 ， 以 其 陆军 部 长 姓氏 命名 。1940 年 5 月 全 6 
月 ， 德 国 主力 通过 阿 登 山脉 ， 从 马 奇 诡 防 线 左 副 迁 回 ， 进 抵 马 奇 话 防线 
的 后 方 ， 使 防线 丧失 了 作用 。“ 马 奇 许 防线 ?现在 用 来 意 指 看 似 表面 坚 
回 ， 实 际 坚 无 价值 的 东西 。 一 一 译 者 注 


第 一 部 分 大 数据 时 代 的 思维 变革 
01 更 多 : 不 是 随机 样本 ， 而 是 全 体 数 气 
当 数 据 处 理 技术 已 经 发 生 了 翻天 履 地 的 变化 时 ， 在 大 数据 时 代 进 生 


抽样 分 析 就 像 在 汽车 时 代 骑 马 一 样 。 一 切 都 改变 了 ， 我 们 需要 的 是 所 有 
的 数据 ，“ 样 本 = 总 体 ”。 

















【大 数据 先锋 】 
穿 筷 卡片 与 美国 人 口 普查 
大 数据 与 乔布斯 的 癌症 治疗 
Xoom 与 跨 境 汇款 异常 交易 报警 
巴 拉 巴 西 与 第 一 次 全 社会 层面 的 网 络 分 析 
让 数据 “发 声 ” 
“大 数据 ?全 在 于 发 现 和 理解 信息 内 容 及 信息 与 信息 之 间 的 关系 ， 然 
而 直到 最 近 ， 我 们 对 此 似乎 还 是 难以 把 握 。IBM 的 资深 “大 数据 ”专家 杰 
夫 : 乔 纳 斯 (Jeff Jonas) 提出 要 让 数据 “说 话 ?"。 从 某 种 层面 上 来 说 ， 这 听 
起 来 很 平 沼 。 人 们 使 用 数据 已 经 有 相当 长 一 段 时 间 了 ， 无 论 是 日 第 进行 
的 大 量 非 正式 观察 ， 还 是 过 去 几 个 世纪 里 在 专业 层面 上 用 高 级 算法 进行 
的 量化 研究 ， 都 与 数据 有 关 。 
在 数字 化 时 代 ， 数 据 处 理 变 得 更 加 容易 、 更 加 快速 ， 人 们 能 够 在 瞬 
间 处 理 成 二 上 万 的 数据 。 但 当 我 们 谈论 能 “说 话 ” 的 数据 时 ， 我 们 指 的 远 
远 不 止 这 些 。 
实际 上 ， 大 数据 与 三 个 重大 的 思维 转变 有 关 ， 这 三 个 转变 是 相互 联 
系 和 相互 作用 的 。 
e 首 先 ， 要 分 析 与 某 事物 相关 的 所 有 数据 ， 而 不 是 依靠 分 析 少 量 的 
数据 样本 。 






































eR, BANAT Bee BH St ESR, MAS FC ATE 


e 最 后 ， 我 们 的 思想 发 生 了 转变 ， 不 再 探求 难以 提 措 的 因果 关系 ， 
转 而 关注 事物 的 相关 关系 。 


本 章 束 将 介绍 第 一 个 转变 : 利用 所 有 的 数据 ， 而 不 再 仅仅 依靠 一 
小 部 分 数据 。 


很 长 一 段 时 间 以 来 ， 准 确 分 析 大 量 数据 对 我 们 而 言 都 是 一 种 挑战 。 
过 去 ， 因 为 记录 、 储 存 和 分 析 数 据 的 工具 不 够 好 ， 我 们 只 能 收集 少量 数 
据 进行 分 析 ， 这 让 我 们 一 度 很 苦恼 。 为 了 让 分 析 变 得 简单 ， 我 们 会 把 数 
气量 缩减 到 最 少 。 这 是 一 种 无 意识 的 目 省 : 我 们 把 与 数据 交流 的 困难 看 
成 是 自然 的 ， 而 没有 意识 到 这 只 是 当时 撤 术 条 件 下 的 一 种 人 为 的 限制 。 
如 今 ， 技 术 条 件 已 经 有 了 非常 大 的 提高 ， 虽 然 人 类 可 以 处 理 的 数据 依然 
是 有 限 的 ， 也 永远 是 有 限 的 ， 但 是 我 们 可 以 处 理 的 数据 量 已 经 大 大 地 增 
加 ， 而 且 未 来 会 越 来 越 多 。 


在 菏 些 方面 ， 我 们 依然 没有 完全 意识 到 自己 拥有 了 能 够 收集 和 处 理 
更 大 规模 数据 的 能 力 。 我 们 还 是 在 信息 匮乏 的 假设 下 做 很 多 事情 ， 建 立 
很 多 机 构 组 织 。 我 们 假定 自己 只 能 收集 到 少量 信息 ， 结 果 就 真 的 如 此 
了 。 这 是 一 个 上 自我 实现 的 过 程 。 我 们 甚至 发 展 了 一 些 使 用 尽 可 能 少 的 信 
奶 的 技术 。 别 筷 了 ， 统 计 学 的 一 个 目的 就 是 用 尽 可 能 少 的 数据 来 证 实 尽 
可 能 重大 的 有 发现。 事实 上 ， 我 们 形成 了 一 种 习惯 ， 那 惑 是 在 我 们 的 制 
度 、 处 理 过 程 和 激励 机 制 中 尽 可 能 地 减少 数据 的 使 用 。 为 了 理解 大 数据 
时 代 的 转变 意味 大 什么， 我 们 需要 首先 回顾 一 下 过 去 。 


小 数据 时 代 的 随机 采样 ， 最 少 的 数据 获得 最 多 的 信息 


直到 最 近 ， 私 人 企业 和 个 人 才 拥 有 了 大 规模 收集 和 分 类 数据 的 能 
力 。 在 过 去 ， 这 是 只 有 教会 或 者 政府 才能 做 到 的 。 当 然 ， 在 很 多 国家 ， 
教会 和 政府 是 等 同 的 。 有 记载 的 、 最 早 的 计数 发 生 在 公元 前 8000 年 的 ， 
当时 苏 美 尔 的 商人 用 条 十 珠 来 记录 出 售 的 商品 。 大 规模 的 计数 则 是 政府 
的 事情 。 数 千年 来 ， 政 府 都 试图 通过 收集 信息 来 管理 国民 。 


以 人 口 普 查 为 例 。 据 说 古代 埃及 曾 进 行 过 人 口 普查 ，《 旧 约 》 和 
《新 约 》 中 对 此 都 有 所 提 及 。 那 次 由 奥 古 斯 都 已 撤 主 导 实施 的 人 口 普 
但， 提出 了 “每 个 人 都 必须 纳税 ”， 这 使 得 约瑟夫 和 玛丽 搬 到 了 耶稣 的 出 
生地 伯利恒 。1086 年 的 《末日 审判 书 》 (The Doomsday Book) 对 当时 






































英国 的 人 口 、 土 地 和 财产 做 了 一 个 前 所 未 有 的 全 面 记载 。 旦 家 委员 穿越 
整个 国家 对 每 个 人 、 每 件 事 都 做 了 记载 ， 后 来 这 本 书 用 《圣经 》 中 的 
《来 日 审判 书 》 命 名 ， 因 为 每 个 人 的 生活 都 被 亦 裸 襟 地 记载 下 来 的 过 程 
就 像 接 受 “ 最 后 的 审判 一样 。 


然而 ， 人 口 普查 是 一 项 耗资 且 费 时 的 事情 。 国 王 威 廉 一 世 (King 
William 1) 在 他 发 起 的 《末日 审判 书 》 完 成 之 前 束 去 世 了 。 但 是 ， 除 非 
放弃 收集 信息 ， 否 则 在 当时 没有 其 他 办 法 。 尽 管 如 此 ， 当 时 收集 的 信息 
也 只 是 一 个 大 概 情况 ， 实 施 人 口 普查 的 人 也 知道 他 们 不 可 能 准确 记录 下 
每 个 人 的 信息 。 实 际 上 , “人口 普 查 ” 这 个 词 来 源 于 拉丁 语 的 “censere”， 
意思 就 是 推测 、 估 算 。 


三 百 多 年 前 ， 一 个 名 叫 约 翰 : 格 朗 特 (John Graunt) 2 的 英国 缝 幼 用 
品 商 提出 了 一 个 很 有 新 意 的 方法 。 他 采用 了 一 个 新 方法 推算 出 鼠疫 时 期 
伦敦 的 人 口 数 ， 这 种 方法 束 是 后 来 的 统计 学 。 这 个 方法 不 需要 一 个 人 一 
个 人 地 计算 。 虽 然 这 个 方法 比较 粗糙 ， 但 采用 这 个 方法 ， 人 们 可 以 利用 
少量 有 用 的 样本 信息 来 获取 人 口 的 整体 情况 。 


虽然 后 来 证 实 他 能 够 得 出 正确 的 数据 仅仅 是 因为 运气 好 ， 但 在 当时 
他 的 方法 大 受 欢迎 。 样 本 分 析 法 一 直 都 有 较 大 的 漏洞 ， 因 此 无 论 是 进行 
人 口 普 碍 还 是 其 他 大 数据 类 的 任务 ， 人 们 还 是 一 直 使 用 一 一 清点 这 
种 “ 野 蛋 ”的 方法 。 


考虑 到 人 口 普查 的 复杂 性 以 及 耗 时 耗费 的 特点 ， 政 府 极 少 进行 普 
但。 上 古 罗 马 在 拥有 数 十 万 人 口 的 时 候 每 5 年 普查 一 次 。 美 国 宪法 规定 每 
10 年 进行 一 次 人 口 普 查 ， 而 随 着 国家 人 口 越 来 越 多 ， 只 能 以 百 万 计数 。 
但 是 到 19 世 纪 为 止 ， 即 使 这 样 不 频繁 的 人 口 普 查 依然 很 困难 ， 因 为 数据 
变化 的 速度 超过 了 人 口 普查 局 统计 分 析 的 能 


大 数据 先锋 
穿孔 卡片 与 美国 人 口 普查 


美国 在 1880 年 进行 的 人 口 普查 ， 耗 时 8 年 才 完 成 数据 汇总 。 因 此 ， 
他 们 获得 的 很 多 数据 都 是 过 时 的 。1890 年 进行 的 人 口 普 查 ， 预 计 要 花费 
13 年 的 时 间 来 汇总 数据 。 即 使 不 考虑 这 种 情况 违反 了 宪法 规定 ， 它 也 是 
很 序 座 的 。 然 而 ， 因 为 税收 分 摊 和 国会 代表 人 数 确定 都 是 建立 在 人 口 的 
基础 上 的 ， 所 以 必须 要 得 到 正确 的 数据 ， 而 且 必 须 是 及 时 的 数据 。 
























































美国 人 口 普 查 局 面临 的 问题 与 当代 商人 和 科学 家 遇 到 的 问题 很 相 
似 。 很 明显 ， 当 他 们 被 数据 淹没 的 时 候 ， 已 有 的 数据 处 理工 具 已 经 难以 
应 付 了 ， 所 以 就 需要 有 更 多 的 新 技术 。 


后 来 ， 美 国人 口 普查 局 就 和 当时 的 美国 发 明 家 炙 尔 曼 . 堆 尔 瑞 斯 
(Herman Hollerith) 签订 了 一 个 协议 ， 用 他 的 穿孔 卡片 制 表 机 来 完成 
1890 年 的 人 口 普查 。 


经 过 大 量 的 努力 ， 霍 尔 瑞 斯 成 功 地 在 1 年 时 间 内 完成 了 人 口 普 碍 的 
数据 汇总 工作 。 这 简直 吏 是 一 个 奇迹 ， 它 标志 着 目 动 处 理 数据 的 开端 ， 
也 为 后 来 BM 公司 的 成 立 莫 定 了 基础 。 但 是 ， 将 其 作为 收集 处 理 大 数据 
的 方法 依然 过 于 昂贵 。 毕 竞 ， 每 个 美国 人 都 必须 填 一 张 可 制 成 穿孔 卡片 
的 表格 ， 然 后 再 进行 统计 。 这 么 麻烦 的 情况 下 ， 很 难 想象 如 果 不 足 十 年 
就 要 进行 一 次 人 口 普查 应 该 怎么 办 。 但 是 ， 对 于 一 个 跨越 式 发 展 的 国家 
而 言 ， 十 年 一 次 的 人 口 普 查 的 滞后 性 已 经 让 普查 失去 了 大 部 分 意义 。 


这 就 是 问题 所 在 ， 是 利用 所 有 的 数据 还 是 仅仅 采用 一 部 分 呢 ? 最 明 
智 的 自然 是 得 到 有 关 被 分 析 事 物 的 所 有 数据 ， 但 是 当 数 量 无 比 庞大 时 ， 
这 又 不 太 现实 。 那 如 何 选择 样本 呢 ? 有 人 提出 有 目的 地 选择 最 具 代 表 性 
的 样本 是 最 恰当 的 方法 。1934 年 ， 波 兰 统计 学 家 耶 日 条 曼 〈Jerzy 
Neyman) 指出 ， 这 只 会 导致 更 多 更 大 的 漏洞 。 事 实证 明 ， 问 题 的 关键 
是 选择 样本 时 的 随机 性 。9 


统计 学 家 们 证 明 : 采样 分 析 的 精确 性 随 着 采样 随机 性 的 增加 而 大 
幅 提 高 ， 但 与 样本 数量 的 增加 关系 不 大 。 虽 然 听 起 来 很 不 可 思议 ， 但 
事实 上 ， 一 个 对 1100 人 进行 的 关于 “是 否 ” 问 题 的 抽样 调查 有 着 很 高 的 精 
确 性 ， 精 确 度 甚至 超过 了 对 所 有 人 进行 调查 时 的 97%a。 这 是 真 的 ， 不 
管 是 调查 10 万 人 还 是 1 亿 人 ，20 次 调查 里 有 19 次 都 能 猜 对 。 为 什么 会 这 
样 ? 原因 很 复杂 ， 但 是 有 一 个 比较 简单 的 解释 就 是 ， 当 样本 数量 达到 了 
某 个 值 之 后 ， 我 们 从 新 个 体 身 上 得 到 的 信息 会 越 来 越 少 ， 就 如 同 经 济 学 
中 的 边际 效应 递减 一 样 。 


认为 样本 选择 的 随机 性 比 样本 数量 更 重要 ， 这 种 观点 是 非常 有 见 
地 的 。 这 种 观点 为 我 们 开辟 了 一 条 收集 信息 的 新 道路 。 通 过 收集 随机 样 
本 ， 我 们 可 以 用 较 少 的 花费 做 出 高 精准 度 的 推 上 新 。 因 此 ， 政 府 每 年 都 可 
以 用 随机 采样 的 方法 进行 小 规模 的 人 口 普 碍 ， 而 不 是 只 能 每 十 年 进行 一 
次 。 事 实 上 ， 政 府 也 这 样 做 了 。 例 如 ， 除 了 十 年 一 次 的 人 口 大 普查 ， 美 
国人 口 普 碍 局 每 年 都 会 用 随机 采样 的 方法 对 经 鹿 和 人 口 进行 200 多 次 小 
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采集 困难 的 办 法 。 


很 快 ， 随 机 采样 就 不 仅 应 用 于 公共 部 门 和 和 人口 普查 了 。 在 商业 领 
域 ， 随 机 采样 被 用 来 监管 商品 质量 。 这 使 得 监管 商品 质量 和 提升 商品 品 
质变 得 更 容易 ， 花 费 也 更 少 。 以 前 ， 全 面 的 质量 监管 要 求 对 生产 出 来 的 
每 个 产品 进行 检查 ， 而 现在 只 需 从 一 批 商 品 中 随机 抽取 部 分 样品 进行 检 
查 束 可 以 了 。 本 质 上 来 说 ， 随 机 采样 让 大 数据 问题 变 得 更 加 切实 可 行 。 
同 理 ， 它 将 客户 调查 引进 了 零售 行业 ， 将 焦点 讨论 引进 了 政治 界 ， 也 将 
许多 人 文 问题 变 成 了 社会 科学 问题 。 


随机 采样 取得 了 巨大 的 成 功 ， 成 为 现代 社会 、 现 代 测 量 领 域 的 主 
心 骨 。 但 这 只 是 一 条 捷径 ， 是 在 不 可 收集 和 分 析 全 部 数据 的 情况 下 的 
选择 ， 它 本 喘 存在 许多 固有 的 缺陷 。s 它 的 成 功 依赖 于 采样 的 绝对 随机 
性 ， 但 是 实现 采样 的 随机 性 非常 困难 。 一 旦 采样 过 程 中 存在 任何 偏见 ， 
分 析 结果 就 会 相去 甚 远 。 


最 近 ， 以 固定 电话 用 户 为 基础 进行 投票 民 调 丈 面 临 了 这 样 的 问题 ， 
采样 缺乏 随机 性 ， 因 为 没有 考虑 到 只 使 用 移动 电话 的 用 户 一 一 这 些 用 户 
一 般 更 年 轻 和 更 热爱 自由 。 没 有 考虑 到 这 些 用 户 ， 自 然 束 得 不 到 正确 的 
预测 。2008 年 在 奥巴马 与 考 凯 恩 之 间 进 行 的 美国 总 统 大 选中 ， 兰 洛 普 咨 
WAR), KOCH (Pew) 、 美 国 广播 公司 和 《华盛顿 邮 报 》 社 这 
些 主要 的 民 调 组 织 都 友 现 ， 如 果 他 们 不 把 移动 用 户 考 虑 进来 ， 民 意 测试 
结果 就 会 出 现 三 个 点 的 偏 凑 ， 而 一 旦 考 上 处 进来， 偏差 就 只 有 一 个 点 。 鉴 
于 这 次 大 选 的 聚 数 差距 极其 微 轮 ， 这 已 经 是 非常 大 的 偏差 了 。 


更 糟糕 的 是 ， 随 机 采样 不 适合 考察 子 类 别 的 情况 。 因 为 一 旦 继续 细 
分 ， 随 机 采样 结果 的 错误 率 会 大 大 增加 。 这 很 容易 理解 。 倘 行 你 有 一 份 
随机 采样 的 调查 结果 ， 是 关于 1000 个 人 在 下 一 次 竞选 中 的 投票 意向 。 如 
果 采 样 时 足够 随机 ， 这 份 调查 的 结 末 束 有 可 能 在 3% 的 误差 范围 内 显示 
全 民 的 意 癌 。 但 是 如 果 这 个 3% 左 右 的 误差 本 来 就 是 不 确定 的 ， 却 又 把 
这 个 调查 结果 根据 性 别 、 地 域 和 收入 进行 细 分 ， 结 果 是 不 古越 来 越 不 准 
确 昵 ?用 这 些 细 分 过 后 的 结果 来 表现 全 民 的 意愿 ， 是 否 合适 呢 ? 


你 设想 一 下 ， 一 个 对 1000 个 人 进行 的 调查 ， 如 果 要 细 分 到 “东北 部 
的 富裕 女性 ”"， 调 查 的 人 数 就 远 远 少 于 1000 人 了 。 即 使 是 完全 随机 的 调 
得 ， 倘 和 若 只 用 了 几 十 个 人 来 预测 整个 东北 部 富裕 女性 选民 的 意愿 ， 还 是 
不 可 能 得 到 精确 结果 啊 ! 而 且 ， 一 旦 采样 过 程 中 存在 任何 偏见 ， 在 细 分 
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因此 ， 当 人 们 想 了 解 更 深层 次 的 细 分 领域 的 情况 时 ， 随 机 采样 的 方 
法 就 不 可 取 了 。 在 宏观 领域 起 作用 的 方法 在 微观 领域 失去 了 作用 。 随 机 
采样 就 像 是 模拟 照 请 打印 ， 远 看 很 不 错 ， 但 是 一 旦 聚焦 某 个 点 ， 驶 会 变 
得 模糊 不 清 。 


随机 采样 也 需要 严密 的 安排 和 执行 。 人 们 只 能 从 采样 数据 中 得 出 事 
先 设 计 好 的 问题 的 结果 一 一 千 万 不 要 奢求 采样 的 数据 还 能 回答 你 突然 意 
识 到 的 问题 。 所 以 虽说 随机 采样 是 一 条 捷径 ， 但 它 也 只 是 一 条 捷 入 。 随 
机 采样 方法 并 不 适用 于 一 切 情况 ， 因 为 这 种 调查 结果 缺乏 延展 性 ， 即 调 
碍 得 出 的 数据 不 可 以 重新 分 析 以 实现 计划 之 外 的 目的 。 


我 们 来 看 一 下 DNA 分 析 。 由 于 技术 成 本 大 幅 下 跌 以 及 在 医学 方面 的 
广阔 前 景 ， 个 人 基因 排序 成 为 了 一 门 新 兴 产 业 。2012 年 ， 基 因 组 解码 的 
价格 跌 破 1000 美 元 ， 这 也 是 非 正 式 的 行业 平均 水 平 。 从 2007 年 起 ， 硅 谷 
的 新 兴 科 技 公司 23andme 就 开始 分 析 人 类 基因 ， 价 格 仅 为 几 百 美元 。 这 
可 以 揭示 出 人 类 遗传 密码 中 一 些 会 导致 其 对 某 些 疾病 抵抗 力 兰 的 特征 ， 
如 乳腺 癌 和 心脏 病 。23andme 希 望 能 通过 整合 顾客 的 DNA 和 健康 信息 ， 
了 解 到 用 其 他 方式 不 能 获取 的 新 信息 。 


公司 对 茶 人 的 一 小 部 分 DNA 进 行 排序 ， 标 注 出 几 十 个 特定 的 基因 缺 
陷 。 这 只 是 该 人 整个 基因 密码 的 样本 ， 还 有 几 十 亿 个 基因 碱 基 对 未 排 
序 。 最 后 ，23andme 只 能 回答 其 标注 过 的 基因 组 表现 出 来 的 问题 。 发 现 
新 标注 时 ， 该 人 的 DNA 必 须 重新 排序 ， 更 准确 地 说 ， 是 相关 的 部 分 必须 
重新 排列 。 只 研究 样本 而 不 是 整体 ， 有 利 有 浆 : 能 更 快 更 容易 地 发 现 问 
题 ， 但 不 能 回答 事先 未 考虑 到 的 问题 。 


大 数据 先锋 
大 数据 与 乔布斯 的 痢 症 治疗 


苹果 公司 的 传奇 总 裁 史 蒂 夫 :乔布斯 在 与 癣 症 斗 争 的 过 程 中 采用 了 
不 同 的 方式 ， 成 为 世界 上 第 一 个 对 目 身 所 有 DNA 和 肿瘤 DNA 进 行 排序 
的 人 。 为 此 ， 他 文 付 了 高 达 几 十 万 美元 的 费用 ， 这 是 23andme 报 价 的 几 
百倍 之 多 。 所 以 ， 他 得 到 的 不 是 一 个 只 有 一 系列 标记 的 样本 ， 他 得 到 了 
包括 整个 基因 密码 的 数据 文档 。 
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用 的 样本 足够 相似 。 但 是 ， 史 蒂 夫 :乔布斯 的 医生 们 能 够 基于 天 布 斯 的 
特定 基因 组 成 ， 按 所 需 效 果 用 药 。 如 果 冶 症 病变 导致 药物 失效 ， 医 生 可 
以 及 时 更 换 为 一 种 药 ， 也 残 是 春 布 斯 所 说 的 , “从 一 片 睡 茵 叶 跳 到 为 一 
片上 。? 午 布 斯 开玩笑 说 : “我 要 么 是 第 一 个 通过 这 种 方式 战胜 关 症 的 
人 ， 要 么 就 是 最 后 一 个 因为 这 种 方式 死 于 狂 症 的 人 。?” 昌 然 他 的 愿望 都 
没有 实现 ， 但 是 这 种 获得 所 有 数据 而 不 仅 是 样本 的 方法 还 是 将 他 的 生命 
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全 数据 模式 ， 样 本 = 总 体 


在 信息 处 理 能 力 受 限 的 时 代 ， 世 界 需 要 数据 分 析 ， 却 缺少 用 来 分 析 
所 收集 数据 的 工具 ， 因 此 随机 米 样 应 运 而 生 ， 它 也 可 以 被 视 为 那个 时 代 
的 产物 。 如 今 ， 计 算 和 制 表 不 再 像 过 去 一 样 困难 。 感 应 器 、 手 机 导航 、 
网 站 点 击 和 Twitter 被 动 地 收集 了 大 量 数据 ， 而 计算 机 可 以 轻易 地 对 这 些 
数据 进行 处 理 。 


采样 的 目的 就 是 用 最 少 的 数据 得 到 最 多 的 信息 。 当 我 们 可 以 获得 海 
量 数据 的 时 候 ， 它 束 没 有 什么 意义 了 。 数 据 处 理 技 术 已 经 发 生 了 翻天 禾 
地 的 改变 ， 但 我 们 的 方法 和 思维 却 没有 跟 上 这 种 改变 。 


采样 一 直 有 一 个 被 我 们 广泛 承认 却 又 总 有 意 避 开 的 缺陷 ， 现 在 这 个 
缺陷 越 来 越 难以 忽视 了 。 采 样 忽视 了 细节 考察 。 虽 然 我 们 别 无 选择 ， 只 
能 利用 采样 分 析 法 来 进行 考察 ， 但 是 在 很 多 领域 ， 从 收集 部 分 数据 到 收 
集 尽 可 能 多 的 数据 的 转变 已 经 及 生 了 。 如 果 可 能 的 话 ， 我 们 会 收集 所 有 
的 数据 ， 即 “样本 = 总 体 ”。 


正如 我 们 所 看 到 的 , “样本 = 总 体 ? 是 指 我 们 能 对 数据 进行 深度 探 
讨 ， 而 采样 几乎 无 法 达到 这 样 的 效果 。 上 面 提 到 的 有 关 采 样 的 例子 证 
明 ， 用 采样 的 方法 分 析 整 个 人 口 的 情况 ， 正 确 率 可 达 979%。 对 于 东 些 事 
物 来 说 ，3% 的 错误 率 是 可 以 接受 的 。 但 是 你 无 法 得 到 一 些微 观 细 市 的 
信息 ， 甚 至 还 会 失去 对 茶 些 特定 子 类 别 进行 进一步 研究 的 能 力 。 我 们 不 
能 满足 于 正 态 分 布 一 般 中 庸 平凡 的 景象 。 生 活 中 真正 有 趣 的 事情 经 常 藏 
匿 在 细节 之 中 ， 而 采样 分 析 法 却 无 法 捕捉 到 这 些 细节 。 


谷歌 流感 趋势 预测 并 不 是 依赖 于 对 随机 样本 的 分 析 ， 而 是 分 析 了 整 
个 美国 几 十 亿 条 互联 网 检索 记录 。 分 析 整 个 数据 库 ， 而 不 是 对 一 个 小 样 
本 进行 分 析 ， 能 够 提高 微观 层面 分 析 的 准确 性 ， 甚 全 能 够 推出 出 茶 个 特 



































定 城市 的 流感 状况 ， 而 不 只 是 一 个 州 或 是 整个 国家 的 情况 。Farecast 的 
初始 系统 使 用 的 样本 包含 12000 个 数据 ， 所 以 取得 了 不 错 的 预 调 结 果 。 
随 着 奥 伦 : 埃 齐 奥 尼 不 断 添 加 更 多 的 数据 ， 预 测 的 结果 越 来 越 准 确 。 最 
终 ，Farecast 使 用 了 每 一 条 航线 整整 一 年 的 价格 数据 来 进行 预测 。 埃 齐 
奥 尼 说 : “这 只 是 一 个 暂时 性 的 数据 ， 随 独 你 收集 的 数据 越 来 越 多 ， 你 
的 预测 结果 会 越 来 越 准 确 。” 


所 以 ， 我 们 现在 经 向 会 放弃 样本 分 析 这 条 捷径 ， 选 择 收 集 全 面 而 完 
整 的 数据 。 我 们 需要 足够 的 数据 处 理 和 存储 能 力 ， 也 需要 最 先进 的 分 析 
技术 。 同 时 ， 简 单 廉 价 的 数据 收集 方法 也 很 重要 。 过 去 ， 这 些 问题 中 的 
任何 一 个 都 很 坑 手 。 在 一 个 资源 有 限 的 时 代 ， 要 解决 这 些 问 题 希 要 付出 
很 高 的 代价 。 但 是 现在 ， 解 决 这 些 难 题 已 经 变 得 简单 容易 得 多 。 曾 经 只 
有 大 公司 才能 做 到 的 事情 ， 现 在 绝 大 部 分 的 公司 都 可 以 做 到 了 。 


通过 使 用 所 有 的 数据 ， 我 们 可 以 发 现 如 硬 不 然则 将 会 在 大 量 数据 中 
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信息 ， 你 可 以 把 它 与 正常 交易 情况 进行 对 比 。 这 古 一 个 大 数据 问题 。 而 
且 ， 因 为 交易 是 即时 的 ， 所 以 你 的 数据 分 析 也 应 该 是 即时 的 。 


大 数据 先锋 
Xoom 与 跨 境 汇款 异常 交易 报警 


Xoom 是 一 个 专门 从 事 跨 境 汇 款 业务 的 公司 ， 它 得 到 了 很 多 拥有 大 
数据 的 大 公司 的 支持 。 它 会 分 析 一 笔 交 易 的 所 有 相关 数据 。2011 年 ， 它 
注意 到 用 “发 现 卡 ”从 新 泽 西 州 汇 蒜 的 交易 量 比 正常 情况 多 一 些 ， 系 统 于 
是 启动 报警 。Xoom 公 司 的 首席 执行 官 约翰 : 孔 泽 John Kunze) 解释 
说 : “这 个 系统 关注 的 是 不 应 该 出 现 的 情况 。? 单 独 来 看 ， 每 笔 交 易 都 是 
合法 的 ， 但 是 事实 证 明 这 是 一 个 犯罪 集团 在 试图 诈骗 。 而 发 现 异常 的 唯 
一 方法 就 是 ， 重 新 检查 所 有 的 数据 ， 找 出 样本 分 析 法 错过 的 信息 。 


然而 ， 使 用 所 有 的 数据 并 不 代表 这 是 一 项 艰巨 的 任务 。 大 数据 中 
的 “大 ”不 是 绝对 意义 上 的 大 ， 虽 然 在 大 多 数 情况 下 是 这 个 意思 。 谷 歌 流 
感 趋势 预测 建立 在 数 亿 的 数学 模型 上 ， 而 它们 又 建立 在 数 十 亿 数 据 节点 
的 基础 之 上 。 完 整 的 人 体 基 因 组 有 约 30 亿 个 碱 基 对 。 但 这 只 是 单纯 的 数 
据 节 点 的 绝对 数量 ， 并 不 代表 它们 就 是 大 数据 。 大 数据 是 指 不 用 随机 分 
析 法 这 样 的 捷径 ， 而 采用 所 有 数据 的 方法 。 谷 歌 流 感 趋势 和 乔布斯 的 
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好 处 地 说 明了 使 用 “样本 = 总 体 ” 这 种 全 数据 模式 的 重要 性 。 消 极 比 赛 一 
直 被 极力 禁止 ， 备 受 诞 责 ， 很 多 运动 员 深 受 困 扰 。 芝 加 哥 大 学 的 一 位 很 
有 前 途 的 经 济 学 家 斯 带 夫 : 列 维特 (Stevea Levitt) ， 在 《美国 经 济 评 
论 》 上 发 表 了 一 篇 研究 论文 ， 其 中 提 到 了 一 种 发 现 这 种 情况 的 方法 : E 
看 运动 员 过 去 所 有 的 比赛 资料 。 他 的 畅销 书 《 魔 鬼 经 济 学 》 

Pe aaa 中 也 提 到 了 这 个 观点 ， 他 认为 检查 所 有 的 数据 是 非常 
介 值 的 。 


列 维特 和 他 的 同事 马克 : 达 根 (Mark Duggan) 使 用 了 11 年 中 超过 
64000 场 摔跤 比赛 的 记录 ， 来 寻找 异常 性 。 他 们 获得 了 重大 的 发 现 。 非 
法 操纵 比赛 结果 的 情况 确实 时 有 发 生 ， 但 是 不 会 出 现在 大 家 很 关注 的 比 
赛 上 。 冠 军 赛 也 有 可 能 被 操纵 ， 但 是 数据 显示 消极 比赛 主要 还 是 出 现在 
不 太 被 关注 的 联赛 的 后 几 场 中 。 这 时 基本 上 没有 什么 风险 ， 因 为 很 多 选 
手 根本 就 没有 获奖 的 希望 。 


相 扑 比赛 的 一 个 比较 特殊 的 地 方 是 ， 选 手 需要 在 15 场 赛事 中 的 大 部 
分 场次 取得 胜利 才能 保持 排名 和 收入 。 这 样 一 来 就 会 出 现 利 益 不 对 称 的 
问题 。 当 一 名 7 胜 7 负 的 摔跤 手 碰 到 一 个 8 胜 6 负 的 对 手 时 ， 比 赛 结果 对 第 
一 个 选手 来 说 极其 重要 ， 对 他 的 对 手 而 言 则 没有 那么 重要 。 列 维特 和 达 
根 发 现 ， 在 这 样 的 情况 下 ， 需 要 慑 的 那个 选手 很 可 能 会 电 。 这 看 起 来 像 
征 对 手 送 的 “礼物 ”， 因 为 在 联系 紧密 的 相 扑 界 ， 帮 列 人 一 把 就 是 给 目 己 
留 了 一 条 后 路 。 


有 没有 可 能 是 要 电 的 决心 帮助 这 个 选手 获胜 呢 ? 答案 是 ， 有 可 能 。 
但 是 数据 显示 的 情况 是 ， 需 要 启 的 选手 的 求 胜 心 也 只 能 把 胜率 提高 
259%。 所 以 ， 把 胜利 完全 归功 于 求 胜 心 是 不 妥当 的 。 对 数据 进行 进一步 
分 析 可 能 会 发 现 ， 与 他 们 在 先前 比赛 中 的 表现 相 比 ， 当 他 们 再 相遇 时 ， 
上 次 失利 的 一 方 要 拥有 比 对 方 更 高 的 胜率 。 因 为 在 相 扑 界 ， 你 的 付出 总 
人 

Se; 


这 个 情况 是 显而易见 的 。 但 是 如 果 采 用 随机 采样 分 析 法 ， 束 无 法 发 
现 这 个 情况 。 而 大 数据 分 析 通 过 使 用 所 有 比赛 的 极 大 数据 捕捉 到 了 这 个 
Ys ea 开始 时 你 不 知道 是 否 能 捕 到 鱼 ， 也 不 知道 会 捕 
到 什么 鱼 。 
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整个 数据 库 包含 的 字 市 量 还 不 如 一 张 普通 的 数码 照片 包含 得 多 。 但 是 大 
数据 分 析 法 不 只 关注 一 个 随机 的 样本 。 这 里 的 “大 ” 取 的 是 相对 意义 而 不 
征 绝对 意义 ， 也 就 是 说 这 是 相对 所 有 数据 来 说 的 。 


很 长 一 段 时 间 内 ， 随 机 采样 都 是 一 条 好 的 捷径 ， 它 使 得 数字 时 代 之 
前 的 大 量 数 据 分 析 变 得 可 能 。 但 残 像 把 一 张 数码 照片 或 者 一 首 数 码 歌 曲 
截取 成 多 个 小 文件 似 的 ， 在 采样 分 析 的 时 候 ， 很 多 信息 就 丢失 了 一 一 你 
能 欣赏 一 首 歌 的 抽样 吗 ? 拥有 全 部 或 几乎 全 部 的 数据 ， 我 们 就 能 够 从 不 
同 的 角度 ， 更 细致 地 观察 和 研究 数据 的 方方面面 。 


我 们 可 以 用 Lytro 相 机 来 打 一 个 恰当 的 比方 。Lytro 相 机 是 具有 革新 
性 的 ， 因 为 它 把 大 数据 运用 到 了 基本 的 摄影 中 。 与 传统 相机 只 可 以 记录 
一 束 光 不 同 ，Lytro 相 机 可 以 记录 整个 光 场 里 所 有 的 光 ， 达 到 1100 万 束 
之 多 。 具 体 生成 什么 样 的 照片 则 可 以 在 拍摄 之 后 再 根据 需要 决定 。 用 户 
没 必要 在 一 开始 就 聚焦 ， 因 为 该 相机 可 以 捕捉 到 所 有 的 数据 ， 所 以 之 后 
可 以 选择 聚焦 图 像 中 的 任 一 点 。 整 个 区 场 的 光束 都 被 记录 了 ， 也 就 是 收 
集 了 所 有 的 数据 , “样本 = 总 体 ”。 因 此 ， 与 普通 照片 相 比 ， 这 些 照 万 就 
更 具 “ 可 循环 利用 性 *"。 如 果 使 用 普通 相机 ， 摄 影 师 就 必须 在 担 照 之 前 决 
定好 聚焦 点 。 


同 理 ， 因 为 大 数据 是 建立 在 掌握 所 有 数据 ， 人 至少 是 尽 可 能 多 的 数据 
的 基础 上 的 ， 所 以 我 们 就 可 以 正确 地 考察 细节 并 进行 新 的 分 析 。 在 任何 
细微 的 层面 ， 我 们 都 可 以 用 大 数据 去 论证 新 的 假设 。 是 大 数据 让 我 们 发 
现 了 相 扑 中 的 非法 操纵 比赛 结果 、 流 感 的 传播 区 域 和 对 抗 盖 症 需要 针对 
的 那 部 分 DNA。 它 让 我 们 能 清楚 分 析 微 观 层面 的 情况 。 


当然 ， 有 些 时 候 ， 我 们 还 是 可 以 使 用 样本 分 析 法 ， 毕 竞 我 们 仍然 活 
在 一 个 资源 有 限 的 时 代 。 但 是 更 多 时 候 ， 利 用 手中 掌握 的 所 有 数据 成 为 
了 最 好 也 是 可 行 的 选择 。 


社会 科学 是 被 “样本 = 总 体 ” 挎 动 得 最 历 害 的 学 科 。 随 着 大 数据 分 析 
取代 了 样本 分 析 ， 社 会 科学 不 再 单纯 依赖 于 分 析 实 证 数据 。 这 门 学 科 过 
去 曾 非 常 依赖 样本 分 析 、 研 究 和 调查 问卷 。 当 记录 下 来 的 是 人 们 的 平常 
状态 ， 也 就 不 用 担心 在 做 研究 和 调查 问卷 时 存在 的 偏见 SB 了 。 现 在 ， 我 
们 可 以 收集 过 去 无 法 收集 到 的 信息 ， 不 管 是 通过 移动 电话 表现 出 的 关 
系 ， 还 是 通过 Twitter 信息 表现 出 的 感情 。 更 重要 的 是 ， 我 们 现在 也 不 再 
依赖 抽样 调 碍 了 。 
























































艾 伯 特 - 拉 斯 洛 : 巴 拉巴 西 (Albert-Liszl6 Barabasi) 2， 和 他 的 同事 
想 研究 人 与 人 之 间 的 互动 。 于 是 他 们 调查 了 四 个 月 内 所 有 的 移动 通信 记 
录 一 一 当然 是 匿名 的 ， 这 些 记录 是 一 个 为 全 美 五 分 之 一 人 口 提供 服务 的 
无 线 运营 商 提供 的 。 这 是 第 一 次 在 全 社会 层面 用 接近 于 “样本 = 总 体 ” 的 
数据 资料 进行 网 络 分 析 。 通 过 观察 数 百 万 人 的 所 有 通信 记录 ， 我 们 可 以 
产生 也 许 通 过 任何 其 他 方式 都 无 法 产生 的 新 观点 。 


有 趣 的 是 ， 与 小 规模 的 研究 相 比 ， 这 个 团队 发 现 ， 如 果 把 一 个 在 社 
区 内 有 很 多 连接 关系 的 人 从 社区 关系 网 中 剔除 掉 ， 这 个 关系 网 会 变 得 没 
那么 高 效 但 却 不 会 解体 ;但 如 果 把 一 个 与 所 在 社区 之 外 的 很 多 人 有 关连 
接 关 系 的 人 从 这 个 关系 网 中 剔除 ， 整 个 关系 网 很 快 就 会 破碎 成 很 多 小 
块 。9 这 个 研究 结果 非常 重要 也 非常 得 出 人 意料 。 谁 能 想象 一 个 在 关系 
网 内 有 着 众多 好 友 的 人 的 重要 性 还 不 如 一 个 只 是 与 很 多 关系 网 外 的 人 有 
联系 的 人 了 呢 ? % 这 说 明 一 般 来 说 无 论 是 针对 一 个 小 团体 还 是 整个 社会 ， 
多 样 性 是 有 和 额外 价值 的 。 这 个 结果 促使 我 们 重新 审视 一 个 人 在 社会 关系 
网 中 的 存在 价值 。 


大 数据 铜 家 


我 们 总 古 习惯 把 统计 抽样 看 做 文明 得 以 建立 的 牢固 基石 ， 就 如 同 几 
何 学 定理 和 万 有 引力 定律 一 样 。 但 是 统计 抽样 其 实 只 是 为 了 在 技术 受 限 
的 特定 时 期 ， 解 决 当时 存在 的 一 些 特定 问题 而 产生 的 ， 其 历史 尚 不 足 一 
百年 。 如 今 ， 技 术 环 境 已 经 有 了 很 大 的 改善 。 在 大 数据 时 代 进 行 抽 样 分 
析 就 像 是 在 汽车 时 代 骑 马 一 样 。 在 系 些 特定 的 情况 下 ， 我 们 依然 可 以 使 
用 样本 分 析 法 ， 但 这 不 再 是 我 们 分 析 数 据 的 主要 方式 。 慢 慢 地 ， 我 们 会 
完全 抛弃 样本 分 析 。 












































O 约 允 : 格 朗 特 的 尝试 可 以 参见 他 闻名 世界 的 著作 Natural and 
Political Observations Made upon the Bills of Mortality。 尺 管 他 并 未 真正 
给 出 一 种 有 效 的 办 法 来 推断 疾病 流行 时 的 人 口 数 或 死亡 京 ， 但 是 他 首次 
eee 

之 一 。 一 一 译 者 注 


[2] 在 对 一 个 量 〈 例 如 年 收入 ) 进行 佑 计 的 时 候 ， 如 果 总 体 可 以 分 
为 很 多 层 ( 例 如 所 有 人 口 按照 不 同年 龄 或 者 不 同 职 业 分 成 很 多 层 ) ， 一 
种 直观 的 想法 是 每 一 层 随机 抽样 的 样本 大 小 应 该 正比 于 这 个 层 所 包含 人 
口 的 多 少 。 么 曼 指 出 ， 最 优 分 配 并 非 如 此 简单 ， 实 际 上 ， 层 越 大 ， 层 内 
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越 多 。 具 体 的 公式 和 推导 过 程 可 以 参考 1934 年 妹 曼 在 Journal of the Royal 
Statistical Society 上 发 表 的 “On the two different aspects of the 
representative method: The method of stratified sampling and the method of 
purposive Selection” 一 文 。 人 


[3] 此 处 指 对 回答 “是 ”的 概率 的 估计 精度 可 以 达到 979% 左 右 ， 也 就 是 
说 估计 值 的 标准 差 在 3% 左 右 。 一 一 译 者 注 


[4] 刚才 讨论 的 还 只 是 最 简单 的 经 典 抽样 问题 。 尺 省 条 曼 等 人 指出 
了 其 中 非 平凡 的 问题 ， 但 毕竟 存在 最 优 抽样 的 判断 标准 和 最 优 方法 。 最 
近 ， 祝 建华 教授 在 一 次 讨论 中 指出 ， 如 果 抽 样 的 对 象 更 复杂 ， 例 如 是 一 
个 网 络 ， 那 么 根本 找 不 到 一 个 “最 优 抽样 ?的 标准 ， 更 不 可 能 奢求 抽样 得 
到 的 小 网 络 能 够 反映 总 体 的 所 有 结构 特性 。 译 者 注 


[5] 太 字 节 ， 一 般 记 作 TB， 等 于 2* 字 节 。 一 一 译 者 注 


[6] 这 种 偏见 既 包 括 研究 者 设计 实验 和 问卷 时 的 偏 莽 ， 也 包括 被 试 
人 员 EL 自己 作为 被 试 的 角色 而 产生 的 不 同 于 日 常 的 心理 和 行为 。 
译 者 注 


O 全球 最 权威 的 复杂 网 络 研究 专家 之 一 ， 其 最 新 作品 《爆发 》 
(Bursts) 是 大 数据 新 科学 范式 的 典型 代表 ， 该 书 的 简体 中 文 版 已 由 湛 
» 中 国人 民 大 学 出 版 社 出 版 ， 推 荐 与 本 书 参照 阅读 。 一 一 译 

A 


[8] 作者 对 这 项 研究 的 理解 稍 有 不 妥 。 该 研究 并 未 关注 从 网 络 中 移 
除 节点 《手机 用 户 ) 的 情形 ， 而 是 考察 从 网 络 中 移 除 链 路 〈 通 话 关 系 ) 
对 网 络 结构 的 影响 。 借 鉴 渗 流 理 论 (Percolation Theory) ， 作 者 发 现 ， 
移 除 弱 关 系 而 非 强 关系 反而 会 导致 快速 破碎 成 知 干 小 碎片 。 详 细 分 析 可 
以 参考 Onnela 等 人 2007 年 在 《美国 科学 院 院 刊 》 上 发 表 的 “Structure and 


tie strengths in mobile communication networks” 一 文 。 一 一 译 者 注 


[9] 就 个 人 而 言 ， 可 以 通过 重合 社 区 挖掘 的 方法 找到 同时 属于 多 个 
社区 的 节点 ， 这 些 人 往往 对 网 络 连 通 性 至 关 重 要 。 就 联系 而 言 ， 可 以 控 
掘 起 桥接 作用 的 连 边 ， 这 些 连 边 往 往 对 网 络 连 通 性 至 关 重 要 。 这 方面 的 
概念 和 算术 可 参考 2005 年 Palla 等 人 在 《自然 》 上 发 表 的 名 为 “Uncovering 


the overlapping community structure of complex networks in nature and 





























society” 一 文 及 2010 年 程 学 旗 等 人 在 《统计 力学 杂志 》 上 发 表 的 名 
为 “Bridgeness: a local index on edge significance in maintaining global 
connectivity” 一 文 。 一 一 译 者 注 


02 更 杂 : 不 是 精确 性 ， 而 是 混杂 性 

执 迷 于 精确 性 是 信息 缺乏 时 代 和 模拟 时 代 的 产物 。 只 有 59% 的 数据 

是 结构 化 且 能 适用 于 传统 数据 库 的 。 如 果 不 接 受 混乱 ， 剩 下 95% 的 非 结 

构 化 数据 都 无 法 被 利用 ， 只 有 接受 不 精确 性 ， 我 们 才能 打开 一 鹿 从 未 涉 
足 的 世界 的 窗户 。 

【大 数据 先锋 】 

微软 与 语料库 数据 添加 

IBM Candidate 计 算 机 翻译 项 目 

无 所 不 包 的 谷歌 翻译 系统 

英国 石油 公司 与 无 线 感 应 器 

麻 省 理工 与 通 贷 紧 纵 预 测 软 件 


Hadoop 与 VISA 的 13 分 钟 
































允许 不 精确 


在 越 来 越 多 的 情况 下 ， 使 用 所 有 可 获取 的 数据 变 得 更 为 可 能 ， 但 为 
此 也 要 付出 一 定 的 代价 。 数 据 量 的 大 幅 增 加 会 造成 结果 的 不 准确 ， 与 此 
同时 ， 一 些 错 误 的 数据 也 会 混 进 数据 库 。 然 而 ， 重 点 是 我 们 能 够 努力 避 
免 这 些 问题 。 我 们 从 不 认为 这 些 问题 是 无 法 避免 的 ， 而 且 也 正在 学 会 接 
受 它 们 。 这 就 是 由 “小 数据 ?到 “大 数据 ”的 重要 转变 之 一 。 


对 “小 数据 ”而 言 ， 最 基本 、 最 重要 的 要 求 束 是 减少 错误 ， 保 证 质 
量 。 因 为 收集 的 信息 量 比较 少 ， 所 以 我 们 必须 确保 记录 下 来 的 数据 尽量 
精确 。 无 论 是 确定 天 体 的 位 置 还 是 观测 显微镜 下 物体 的 大 小 ， 为 了 使 结 
果 更 加 准确 ， 很 多 科学 家 都 致力 于 优化 测量 的 工具 。 在 采样 的 时 候 ， 对 
精确 度 的 要 求 就 更 局 更 奇 刻 了 。 因 为 收集 信息 的 有 限 意 味 痢 细微 的 错误 
会 被 放大 ， 甚 至 有 可 能 影响 整个 结果 的 准确 性 。 


历史 上 很 多 时 候 ， 人 们 会 把 通过 测量 世界 来 征服 世界 视 为 最 大 的 成 
































就 。 事 实 上 ， 对 精确 度 的 高 要 求 始 于 13 世 纪 中 期 的 欧洲 。 那 时 候 ， 天 文 
学 家 和 学 者 对 时 间 、 空 间 的 研究 采取 了 比 以 往 更 为 精确 的 量化 方式 ， 用 
历史 学 家 阿尔 弗 雷 德 . 克 罗斯 比 (Alfred Crosby) 的话 来 说 就 是 “测量 现 
实 ”。 











我 们 研究 一 个 现象 ， 是 因为 我 们 相信 我 们 能 够 理解 它 。 后 来 ， 测 量 
方法 逐渐 被 运用 到 科学 观察 、 解 释 方 法 中 ， 体 现 为 一 种 进行 量化 研究 、 
记录 ， 并 呈现 可 重复 结果 的 能 力 。 伟 大 的 物理 学 家 开尔文 男 茵 曾 说 
过 : “测量 就 是 认 知 。” 这 已 成 为 一 条 人 至理名言 。 培 根 也 半 说 过 : “知识 
就 是 力量 。” 同 时 ， 很 多 数学 家 以 及 后 来 的 精算 师 和 会 计 师 都 发 展 了 可 
以 准确 收集 、 记 录 和 管理 数据 的 方法 。 


19 世 纪 ， 科技 率先 发 展 起 来 的 法 国 开 友 了 一 套 能 准确 计量 时 间 、 空 
间 单 位 的 系统 ， 并 逐渐 成 为 其 他 国家 普遍 采用 的 标准 ， 这 套 系 统 还 为 后 
来 国际 公认 的 测量 条 约 况 定 了 基础 ， 成 为 测量 时 代 的 医 峰 。 仪 半 个 世纪 
之 后 ，20 世 纪 20 年 代 ， 量 子 力学 的 发 现 永远 粉碎 了 "测量 到 于 至 善 ?的 约 
梦 。 然 而 ， 在 物理 学 这 个 小 圈子 以 外 的 一 些 测量 工程 师 和 科学 家 仍 沉 酒 
在 完美 测量 的 梦 中 。 随 独 理性 学 科 ， 如 数学 和 统计 学 逐渐 影响 到 商业 领 
域 ， 商 业界 更 加 过 尚 这 种 思想 。 


然而 ， 在 不 断 涌现 的 新 情况 里 ， 允 许 不 精确 的 出 现 已 经 成 为 一 个 新 
的 腕 点 ， 而 非 缺点 。 因 为 放松 了 容错 的 标准 ， 人 们 车 握 的 数据 也 多 了 起 
来 ， 还 可 以 利用 这 些 数据 做 更 多 新 的 事情 。 这 样 就 不 是 大 量 数据 优 于 少 
量 数据 那么 简单 了 ， 而 是 大 量 数据 创造 了 更 好 的 结果 。 


同时 ， 我 们 需要 与 各 种 各 样 的 混乱 做 斗争 。 混 乱 ， 简 单 地 说 就 是 随 
着 数据 的 增加 ， 错 误 率 也 会 相应 增加 。 所 以 ， 如 果 桥 梁 的 压力 数据 量 增 
加 1000 倍 的 话 ， 其 中 的 部 分 读数 束 可 能 是 错误 的 ， 而 且 随 着 读数 量 的 增 
加 ， 错 误 率 可 能 也 会 继续 增加 。 在 整合 来 源 不 同 的 各 类 信息 的 时 候 ， 因 
为 它们 通常 不 完全 一 致 ， 所 以 也 会 加 大 混乱 程度 。 例 如 ， 与 服务 器 处 理 
投诉 时 的 数据 进行 比较 ， 用 语音 识别 系统 识别 某 个 呼叫 中 心 接 到 的 投诉 
人 
况 的 。 


混乱 还 可 以 指 格式 的 不 一 致 性 ， 因 为 要 达到 格式 一 致 ， 就 需要 在 进 
行 数据 处 理 之 前 仔细 地 清洗 数据 ， 而 这 在 大 数据 背景 下 很 难 做 到 。“ 大 
数据 ”专家 帕 堤 尔 (D.J.Patil) 指出 ，LB.M.、T.J Watson Labs、 
International Business Machines 都 可 以 用 来 指 代 IBM， 甚 至 可 能 有 成 二 上 



















































































万 种 方法 称呼 了 BBM。 当 然 ， 在 某 取 或 处 理 数 据 的 时 候 ， 混 乱 也 会 发 生 。 
因为 在 进行 数据 转化 的 时 候 ， 我 们 是 在 把 它 变 成 妨 外 的 事物 。 比 如 ， 我 
们 在 对 Twitter 的 信息 进行 情感 分 析 来 预测 好 莱 翅 票房 的 时 候 ， 台 会 出 现 
一 定 的 混乱 。 其 实 ， 混 乱 的 起 源 和 类 型 本 来 束 是 一 团 乱 肪 。 


假设 你 要 测量 一 个 葡萄 园 的 温度 ， 但 古 整 个 区 苟 园 只 有 一 个 温度 测 
量 仪 ， 那 你 就 必须 确保 这 个 测量 仪 是 精确 的 而 且 能 够 一 直 工 作 。 反 过 
来 ， 如 宋 每 100 柠 区 和 欧 树 就 有 一 个 测量 仪 ， 有 些 测试 的 数据 可 能 会 是 错 
误 的 ， 可 能 会 更 加 混乱 ， 但 众多 的 读数 合 起 来 就 可 以 提供 一 个 更 加 准确 
的 结束 。 因 为 这 里 面包 含 了 更 多 的 数据 ， 而 它 不 仅 能 抵消 掉 错 误 数 据 造 
成 的 影响 ， 还 能 提供 更 多 的 额外 价值 。 


现在 想 想 增 加 读数 频率 的 这 个 事情 。 如 果 每 隅 一 分 钟 就 测量 一 下 温 
度 ， 我 们 至 少 还 能 够 保证 测量 结果 是 按照 时 间 有 序 排列 的 。 如 果 变 成 每 
分 钟 测量 十 次 甚至 百 次 的 话 ， 不 仪 读数 可 能 出 错 ， 连 时 间 先 后 都 可 能 搞 
混 挤 。 试 想 ， 如 果 信 息 在 网 络 中 流动 ， 那 么 一 条 记录 很 可 能 在 传输 过 程 
中 被 延迟 ， 在 其 到 达 的 时 候 已 经 没有 意义 了 ， 甚 至 干脆 在 奔涌 的 信息 潜 
流 中 彻底 迷失 。 虽 然 我 们 得 到 的 信息 不 再 那么 准确 ， 但 收集 到 的 数量 庞 
大 的 信息 让 我 们 放弃 严格 精确 的 选择 变 得 更 为 划算 。 


在 第 一 个 例子 里 ， 我 们 为 了 获得 更 广泛 的 数据 而 牺牲 了 精确 性 ， 也 
因此 看 到 了 很 多 如 大 不 然 无 法 被 关注 到 的 细节 。 在 第 二 个 例子 里 ， 我 们 
为 了 高 频率 而 放弃 了 精确 性 ， 结 果 观 察 到 了 一 些 本 可 能 被 错过 的 变化 。 
里 然 如 果 我 们 能 够 下 足够 多 的 工夫 ， 这 些 错误 是 可 以 避免 的 ， 但 在 很 多 
情况 下 ， 与 致力 于 避免 错误 相 比 ， 对 错误 的 包容 会 带 给 我 们 更 多 好 处 。 


为 了 扩大 规模 ， 我 们 接受 适量 错误 的 存在 。 正 如 技术 咨询 公司 
Forrester 所 认为 的 ， 有 时 得 到 2 加 2 约 等 于 3.9 的 结果 ， 也 很 不 错 了 。 当 
然 ， 数 据 不 可 能 完全 错误 ， 但 为 了 了 解 大 致 的 发 展 趋势 ， 我 们 愿意 对 精 
确 性 做 出 一 些 让 步 。 

大 数据 洞察 


“大 数据 ”通常 用 概率 说 话 ， 而 不 是 板 着 “ 确 羡 无 疑 * 的 面孔 。 整 个 社 
会 要 习惯 这 种 思维 需要 很 长 的 时 间 ， 其 中 也 会 出 现 一 些 问题 。 但 现在 ， 
有 必要 指出 的 是 ， 当 我 们 试图 扩大 数据 规模 的 时 候 ， 要 学 会 拥抱 混乱 。 


我 们 可 以 在 大 量 数据 对 计算 机 其 他 领域 进步 的 重要 性 上 看 到 类 似 的 



















































































变化 。 我 们 都 知道 ， 如 摩尔 定律 所 预测 的 ， 过 去 一 段 时 间 里 计算 机 的 数 
据 处 理 能 力 得 到 了 很 大 的 提高 。 摩 尔 定律 认为 ， 每 块 攻 片上 品 体 管 的 数 
量 每 两 年 就 会 翻 一 倍 。 这 使 得 电脑 运行 更 快速 了 ， 存 储 空间 更 大 了 。 大 
家 没有 意识 到 的 是 ， 驱 动 各 类 系统 的 算法 也 进步 了 一 一 美国 总 统 科技 顾 
问 委员 会 的 报告 显示 ， 在 很 多 领域 这 些 算法 融 来 的 进步 还 要 胜 过 心 记 的 
进步 。 然 而 ， 社 会 从 “大 数据 ”中 所 能 得 到 的 ， 并 非 来 自 运 行 更 快 的 已 厂 
或 更 好 的 算法 ， 而 是 更 多 的 数据 。 


由 于 象棋 的 规则 寡 喻 户 晓 ， 且 走 子 限制 恨 多 ， 在 过 去 的 儿 十 年 里 ， 
象棋 算法 的 变化 很 小 。 计 算 机 象棋 程序 总 是 步 步 为 局 是 由 于 对 残局 学 握 
得 更 好 了 ，2 而 之 所 以 能 做 到 这 一 点 也 只 是 因为 往 系 统 里 加 入 了 更 多 的 
数据 。 实 际 上 ， 当 棋盘 上 只 剩 下 六 枚 棋子 或 更 少 的 时 候 ， 这 个 残局 得 到 
了 全 面 的 分 析 ， 并 且 接 下 来 所有 可 能 的 走 法 〈 样 本 = 总 体 ) 都 被 制 入 了 
一 个 庞大 的 数据 表格 。 这 个 数据 表格 如 果 不 压缩 的 话 ， 会 有 一 太 字 市 
pe ee ee ee ee 
; 胜 。 


大 数据 在 多 大 程度 上 优 于 算法 这 个 问题 在 自然 语言 处 理 上 表现 得 很 
明显 (这 是 关于 计算 机 如 何 学 习 和 领悟 我 们 在 日 常生 活 中 使 用 语言 的 学 
REF) 。 在 2000 年 的 时 候 ， 微 软 研 究 中 心 的 米 软 尔 : 班 科 (Michele 
Banko) MRE m AE/K (Eric Bill) 一 直 在 寻求 改进 Word 程序 中 语法 
检查 的 方法 。 但 是 他 们 不 能 确定 是 努力 改进 现 有 的 算法 、 研 发 新 的 方 
法 ， 还 是 添加 更 加 细腻 精致 的 特点 更 有 效 。 所 以 ， 在 实施 这 些 措施 之 
前 ， 他 们 决定 往 现 有 的 算法 中 添加 更 多 的 数据 ， 看 看 会 有 什么 不 同 的 变 
化 。 很 多 对 计算 机 学 习 算 法 的 研究 都 建立 在 百 万 字 左 右 的 语料库 基础 
上 。 最 后 ， 他 们 决定 往 4 种 常见 的 算法 中 逐渐 添加 数据 ， 先 是 一 干 万 
字 ， 再 到 一 亿 字 ， 最 后 到 十 亿 。 


结 末 有 点 令 人 吃惊。 他 们 发 现 ， 随 着 数 据 的 增多 ，4 种 算法 的 表现 
都 大 幅 提高 


大 数据 的 力量 


当 数 据 只 有 500 万 的 时 候 ， 有 一 种 简单 的 算法 表现 得 很 差 ， 但 当 数 
据 达 10 亿 的 时 候 ， 它 变 成 了 表现 最 好 的 ， 准 确 率 从 原来 的 75% 提 高 到 了 
95% 以 上 。 与 之 相反 地 ， 在 少量 数据 情况 下 运行 得 最 好 的 算法 ， 当 加 入 
更 多 的 数据 时 ， 也 会 像 其 他 的 算法 一 样 有 所 提高 ， 但 是 却 变 成 了 在 大 量 
数据 条 件 下 运行 得 最 不 好 的 。 它 的 准确 率 会 从 86% 提 高 到 94%。 







































































后 来 ， 班 科 和 布 里 尔 在 他 们 发 表 的 研究 论文 中 写 到 , “如 此 一 来 ， 
和 


大 数据 的 简单 算法 比 小 数据 的 复 洒 算法 更 有 效 


所 以 ， 数 据 多 比 少 好 ， 更 多 数据 比 算 法 系统 更 智能 还 要 重要 。 那 
么 ， 混 乱 呢 ?在 班 科 和 布 里 尔 开 始 研 究 数 据 儿 年 后 ， 微 软 的 最 大 苋 争 对 
手 ， 舍 歌 ， 也 开始 更 大 规模 地 对 这 些 问题 进行 探讨 。 舍 歌 用 的 是 上 万 亿 
的 语料库 ， 而 不 是 十 亿 的 。 谷 歌 做 这 类 研究 不 是 因为 语法 检查 ， 而 是 为 
了 解决 翻译 这 个 更 为 手 的 难题 。 


20 志 纪 40 年 代 ， 电 脑 由 真空 管制 成 ， 要 占据 整个 房间 这 么 大 的 空 
间 。 而 机 器 翻译 也 只 是 计算 机 开发 人 员 的 一 个 想法 。 在 冷战 时 期 ， 美 国 
掌握 了 大 量 关 于 苏联 的 各 种 资料 ， 但 缺少 翻译 这 些 资料 的 人 手 。 所 以 ， 
计算 机 翻译 也 成 了 吸 须 解决 的 问题 。 


最 初 ， 计 算 机 研发 人 员 打算 将 语法 规则 和 双语 词典 结合 在 一 起 。 
1954 年 ，IBM 以 计算 机 中 的 250 个 词语 和 六 条 语法 规则 为 基础 ， 将 60 个 
俄语 词组 翻译 成 了 英语 ， 结 果 振 奋 人 心 。IBM ” 701 通过 罕 孔 卡片 读 取 
了 “Mi pyeryedayem mislyi posryedstvom ryechyi” 这 人 句 话 ， 并 且 将 其 译 成 
了 “我 们 通过 语言 来 交流 思想 ”。 在 庆祝 这 个 成 就 的 发 布 会 上 ， 一 篇 报道 
就 有 提 到 ， 这 60 句 话 翻 译 得 很 流畅 。 这 个 程序 的 指挥 官 利 昂 : 多 斯 特 尔 
特 (Leon Dostert) 表示 ， 他 相信 "在 三 五 年 后 ， 机 器 翻译 将 会 变 得 很 成 
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事实 证 明 ， 计 算 机 翻译 最 初 的 成 功 误 导 了 人 们 。1966 年 ， 一 群 机 器 
翻译 的 研究 人 员 意 识 到 ， 翻 译 比 他 们 想象 的 更 困难 ， 他 们 不 得 不 承认 自 
己 的 失败 。 机 器 翻译 不 能 只 是 让 电脑 熟悉 常用 规则 ， 还 必须 教会 电脑 处 
理 特殊 的 语言 情况 。 毕 竟 ， 翻 译 不 仅仅 只 是 记忆 和 复述 ， 也 涉及 选 词 ， 
而 明确 地 教会 电脑 这 些 非常 不 现实 。 法 语 中 的 “bonjour”* 就 一 定 是 “早上 
好 ” 吗 ? 有 没有 可 能 是 “今天 天 气 不 错 ”“ 吃 了 吗 ? 或 者 “ 喂 ”? 事实 上 都 有 
可 能 一 一 这 需要 视 情况 而 定 。 


在 20 世 纪 80 年 代 后 期 ，IBM 的 研发 人 员 提出 了 一 个 新 的 想法 。 与 音 
纯 教 给 计算 机 语言 规则 和 词汇 相 比 ， 他 们 试图 让 计算 机 自己 估算 一 个 记 
或 一 个 词组 适合 于 用 来 翻译 另 一 种 语言 中 的 一 个 词 和 词组 的 可 能 性 ， 然 
后 再 决定 某 个 词 和 词组 在 男 一 种 语言 中 的 对 等 词 和 词组 ， 





















































20 世 纪 90 年 代 ，IBM 这 个 名 为 Candide 的 项 目 花费 了 大 概 十 年 的 时 
间 ， 将 大 约 有 300 万 句 之 多 的 加 拿 大 议会 资料 译 成 了 英语 和 法 语 并 出 
版 。 由 于 是 官方 文件 ， 翻 译 的 标准 就 非常 高 。 用 那个 时 候 的 标准 来 看 ， 
数据 量 非 常 之 庞大 。 统 计 机 器 学 习 从 诞生 之 日 起 ， 就 聪明 地 把 翻译 的 挑 
战 变 成 了 一 个 数学 问题 ， 而 这 似乎 很 有 效 ! 计算 机 翻译 能 力 在 短 时 间 内 
就 提高 了 很 多 。 然 而 ， 在 这 次 飞跃 之 后 ，IBM 公 司 尽管 投入 了 很 多 资 
金 ， 但 取得 的 成 效 不 大 。 最 终 ，IBM 公 司 停止 了 这 个 项 目 。 


大 数据 先锋 
无 所 不 包 的 谷歌 翻译 系统 


2006 年 ， 谷 歌 公司 也 开始 涉足 机 需 翻 译 。 这 被 当 作 实现 “收集 全 世 
界 的 数据 资源 ， 并 让 人 人 都 可 享受 这 些 资 源 ” 这 个 目标 的 一 个 步骤 。 谷 
歌 翻 译 开 始 利用 一 个 更 大 更 繁杂 的 数据 库 ， 也 就 是 全 球 的 互联 网 ， 而 不 
再 只 利用 两 种 语言 之 间 的 文本 翻译 。 


谷歌 翻译 系统 为 了 训练 计算 机 ， 会 吸收 它 能 找到 的 所 有 翻译 。 它 会 
从 各 种 各 样 语言 的 公司 网 站 上 寻找 对 译文 档 ， 还 会 去 寻找 联合 国 和 欧盟 
这 些 国 际 组 织 发 布 的 官方 文件 和 报告 的 译本 。 它 甚至 会 吸收 速 读 项 目 中 
的 书籍 翻译 。 谷 歌 翻 译 部 的 负责 人 弗 妆 效 : 奥 齐 〈EFranz Och) 是 机 器 翻 
译 界 的 权威 ， 他 指出 , “谷歌 的 翻译 系统 不 会 像 Candide 一 样 只 是 仔细 地 
翻译 300 万 句 话 ， 它 会 掌握 用 不 同 语言 翻译 的 质量 参差 不 齐 的 数 十 亿 页 
的 文档 。*”* 不 考虑 翻 译 质 量 的 话 ， 上 万 亿 的 语料库 就 相当 于 950 亿 人 句 英 
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尽管 其 输入 源 很 混乱 ， 但 较 其 他 翻译 系统 而 言 ， 谷 歌 的 翻译 质量 相 
对 而 言 还 是 最 好 的 ， 而 且 可 翻译 的 内 容 更 多 。 到 2012 年 年 中 ， 谷 歌 数 据 
库 涵 盖 了 60 多 种 语言 ， 甚 至 能 够 接受 14 种 语言 的 语 首 输入 ， 并 有 很 流利 
的 对 等 翻译 。 之 所 以 能 做 到 这 些 ， 是 因为 它 将 语言 视 为 能 够 判别 可 能 性 
的 数据 ， 而 不 是 语言 本 号。 如 果 要 将 印度 语 译 成 加 泰 多 尼 亚 语 ， 谷 歌 就 
会 把 英语 作为 中 介 语 言 。 因 为 在 翻译 的 时 候 它 能 适当 增 减 词汇 ， 所 以 谷 
歌 的 翻译 比 其 他 系统 的 翻译 灵活 很 多 。 


谷歌 的 翻译 之 所 以 更 好 并 不 是 因为 它 拥 有 一 个 更 好 的 算法 机 制 。 和 
微软 的 班 科 和 布 里 尔 一 样 ， 这 是 因为 谷歌 翻译 增加 了 很 多 各 种 各 样 的 数 
据 。 从 谷歌 的 例子 来 看 ， 它 之 所 以 能 比 IBM 的 Candide 系 统 多 利用 成 干 
上 万 的 数据 ， 是 因为 它 接 受 了 有 错误 的 数据 。2006 年 ， 谷 歌 友 布 的 上 万 




















亿 的 语料库 ， 就 是 来 目 于 互联 网 的 一 些 废弃 内 容 。 这 就 是 “训练 集 *， 可 
以 正确 地 推算 出 英语 词汇 搭配 在 一 起 的 可 能 性 。 


20 世 纪 60 年 代 ， 拥 有 百 万 英语 单词 的 语料库 一 一 布 明 语料库 算得 上 
这 个 领域 的 开创 者 ， 而 如 今 谷歌 的 这 个 语料库 则 是 一 个 质 的 突破 ， 后 者 
使 用 庞大 的 数据 库 使 得 自然 语言 处 理 这 一 方向 取得 了 飞跃 式 的 发 展 。 自 
然 语言 处 理 能 力 是 语音 识别 系统 和 计算 机 翻译 的 基础 。 


彼得 . 语 维 格 (Peter Norvig) ， 和 谷歌 公司 人 工 智能 方面 的 专家 ， 和 
他 的 同事 在 一 篇 题 为 《数据 的 非 理 性 效果 》 C The Unreasonable 
Effectiveness of Data) 的 文章 中 写 道 , “大 数据 基础 上 的 简单 算法 比 小 数 
据 基 础 上 的 复杂 算法 更 加 有 效 。” 他 们 就 指出 ， 泥 杂 是 关键 。 


“从 东 种 意义 上 ， 谷 歌 的 语料库 是 布 明 语料库 的 一 个 退步 。 因 为 谷 
歌 语料库 的 内 容 来 自 于 未 经 过 滤 的 网 页 内 容 ， 所 以 会 包含 一 些 不 完整 的 
人 句子、 拼写 错误 、 语 法 错误 以 及 其 他 各 种 错误 。 况 且 ， 它 也 没有 详细 的 
人 工 纠 错 后 的 注解 。 但 是 ， 谷 歌 语料库 是 布朗 语料库 的 好 几 百 万 倍 大 ， 
这 样 的 优势 完全 压倒 了 缺点 。” 


纷繁 的 数据 越 多 越 好 


传统 的 样本 分 析 师 们 很 难 容 妨 错误 数据 的 存在 ， 因 为 他 们 一 生 痢 在 
研究 如 何 防止 和 避免 错误 的 出 现 。 在 收集 样本 的 时 候 ， 统 计 学 家 会 用 一 
整套 的 策略 来 减少 错误 发 生 的 概率 。 在 结果 公布 之 前 ， 他 们 也 会 测试 样 
本 是 否 存 在 潜在 的 系统 性 偏差 。 这 些 集 略 包 括 根据 协议 或 通过 受过 专门 
训练 的 专家 来 采集 样本 。 但 是 ， 即 使 只 是 少量 的 数据 ， 这 些 规避 错误 的 
打上 略 实施 起 来 还 是 耗费 巨大 。 尤 其 是 当 我 们 收集 所 有 数据 的 时 候 ， 这 束 
行 不 通 了 。 不 仅 是 因为 耗费 巨大 ， 还 因为 在 大 规模 的 基础 上 保持 数据 收 
集 标 准 的 一 致 性 不 太 现 实 。 就 算是 不 让 人 们 进行 沟通 和 争吵， 也 不 能 解决 


这 个 问题 。 


大 数据 时 代 要 求 我 们 重新 审视 精确 性 的 优 务 。 如 果 将 传统 的 思维 
模式 运用 于 数字 化 、 网 络 化 的 21 世 纪 ， 就 会 错过 重要 的 信息 。 执 迷 于 精 
确 性 是 信息 缺乏 时 代 和 模拟 时 代 的 产物 。 在 那个 信息 贫乏 的 时 代 ， 任 意 
一 个 数据 点 的 测量 情况 都 对 结果 至 关 重 要 。 所 以 ， 我 们 需要 确保 每 个 数 
所 的 精确 性 ， 才 不 会 导致 分 析 结 末 的 偏差 。 


大 数据 洞察 
























































如 今 ， 我 们 已 经 生活 在 信息 时 代 。 我 们 掌握 的 数据 库 越 来 越 全 面 ， 


象 相关 的 大 量 其 全 全 部 数据 。 我 们 不 再 需要 那么 担心 茶 个 数据 点 对 整套 
分 析 的 不 利 影响 。 我 们 要 做 的 就 是 要 接受 这 些 纷 楷 的 数据 并 从 中 受 和 区， 
而 不 是 以 高 昂 的 代价 消除 所 有 的 不 确定 性 。 


在 华盛顿 州 布 莱恩 市 的 灿 国 石油 公司 CBP) WEKA (Chery 
Point) 和 炬 油 广 里 ， 无 线 感 应 融 遍布 于 整个 工厂 ， 形 成 无 形 的 网 络 ， 能 够 
产生 大 量 实时 数据 。 酷 热 的 恶劣 环境 和 电气 设备 的 存在 有 时 会 对 感应 器 
读数 有 所 影响 ， 形 成 错误 的 数据 。 但 是 数据 生成 的 数量 之 多 可 以 弥补 这 
些小 错误 。 随 时 监测 管道 的 承 压 使 得 BP 能 够 了 解 到 ， 有 些 种 类 的 原油 
比 其 他 种 类 更 具有 腐蚀 性 。 以 前 ， 这 都 是 无 法 发 现 也 无 法 防止 的 。 


有 时 候 ， 当 我 们 掌握 了 大 量 新 型 数据 时 ， 精 确 性 就 不 那么 重要 了 ， 
我 们 同样 可 以 掌握 事情 的 发 展 趋势 。 大 数据 不 仅 让 我 们 不 再 期 待 精确 
性 ， 也 让 我 们 无 法 实现 精确 性 。 然 而 ， 除 了 一 开始 会 与 我 们 的 直 党 相 
才 盾 之 外 ， 接 受 数 据 的 不 精确 和 不 完美 ， 我 们 反而 能 够 更 好 地 进行 预 
测 ， 也 能 够 更 好 地 理解 这 个 世界 。 


值得 注意 的 是 ， 错 误 性 并 不 是 大 数据 本 映 固 有 的 。 它 只 是 我 们 用 来 
测量 、 记 录 和 交流 数据 的 工具 的 一 个 缺陷 。 如 果 说 哪 天 技术 变 得 完美 无 
缺 了 ， 不 精确 的 问题 也 就 不 复 存 在 了 。 错 误 并 不 是 大 数据 回 有 的 特 
性 ， 而 是 一 个 鹃 需 我 们 去 处 理 的 现实 问题 ， 并 且 有 可 能 长 期 存在 。 因 
为 拥有 更 大 数据 量 所 能 融 来 的 商业 利益 远 远 超过 增加 一 点 精确 性 ， 所 以 
通常 我 们 不 会 再 花 大 力气 去 提升 数据 的 精确 性 。 这 又 是 一 个 关注 焦点 的 
转弯， 正如 以 前 ， 统 计 学 家 们 总 是 把 他 们 的 兴趣 放 在 提高 样本 的 随机 性 
而 不 是 数量 上 。 如 今 ， 大 数据 给 我 们 带 来 的 利益 ， 让 我 们 能 够 接受 不 精 
确 的 存在 了 。 


大 数据 先锋 
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“10 亿 价格 项 目 ” (The Billion Prices Project, BBP) 提供 了 一 个 有 趣 
的 例子 。 美 国 劳 工 统计 局 的 人 员 每 个 月 都 要 公布 消费 物价 指数 
CCPI) ， 这 是 用 来 测试 通货 膨胀 率 的 。 这 些 数据 对 投资 者 和 商家 都 非 
常 重 要。 在 决定 是 否 增 减 银行 利率 的 时 候 ， 美 联储 也 会 考虑 消费 指数 。 
一 旦 发 生 通 货 膨胀 ， 工 人 工资 也 会 增加 。 联 邦 政府 在 文 付 社 会 福利 和 债 





















































券 利 妃 的 区 项 时 ， 这 项 指数 也 是 他 们 参考 的 依据 。 


联邦 政府 为 了 得 到 这 些 数据 ， 会 雇用 很 多 人 癌 全 美 90 个 城市 的 商 
店 、 办 公 室 打 电 话 、 发 传真 甚至 登门 拜访 。 他 们 反馈 回来 的 各 种 各 样 的 
价格 信息 达 80000 和 种， 包括 土豆 的 价格 、 出 租车 的 票 价 等 。 政 府 采 集 这 
些 数据 每 年 大 概 需要 花费 两 亿 五 千 万 美元 。 这 些 数 据 是 精确 的 也 是 有 序 
的 ， 但 是 这 个 采集 结果 的 公布 会 有 几 周 的 滞后 。2008 年 的 经 济 危 机 表 
明 ， 这 个 清 后 是 致命 的 。 政 策 决 策 者 为 了 更 好 地 应 对 变化 ， 需 要 及 时 了 
解 通 货 膨 胀 率 ， 但 如 果 以 传统 的 依赖 采样 和 追求 精确 的 方式 进行 数据 收 
集 ， 政 府 就 不 可 能 及 时 获得 数据 了 。 


RAS EET (MIT) 的 两 位 经 济 学 家 ， 阿 尔 贝 托 . 卡 瓦 略 
(Alberto Cavell) 和 罗 伯 托 :里 哥 本 (Oberto Rigobon) 就 对 此 提出 了 一 
个 大 数据 方案 ， 那 就 是 接受 更 混乱 的 数据 。 通 过 一 个 软件 在 互联 网 上 收 
集 信息 ， 他 们 每 天 可 以 收集 到 50 万 种 商品 的 价格 。 收 集 到 的 数据 很 混 
乱 ， 也 不 是 所 有 数据 都 能 轻易 进行 比较 。 但 是 把 大 数据 和 好 的 分 析 法 相 
结合 ， 这 个 项 目 在 2008 年 9 月 雷 曼 兄 第 破产 之 后 马上 就 发 现 了 通货 紧缩 
趋势 ， 然 而 那些 依赖 官方 数据 的 人 直到 11 月 份 才 知 道 这 个 情况 。 昌 


MII 的 这 个 项 目 汇集 了 数 百 万 的 产品 ， 它 们 和 被 数 百 个 零售 丙 卖 到 了 
70 多 个 国家 。 这 个 项 目 产生 的 一 个 名 为 PriceStats 的 商业 方案 也 经 常 被 一 
些 银行 和 其 他 经 济 决策 人 用 到 。 当 然 ， 收 集 到 的 数据 需要 仔细 的 分 析 ， 
而 且 这 些 数据 更 善于 表明 价格 的 发 展 趋势 而 不 是 精确 的 价格 。 但 是 因为 
PriceStats 收 集 到 了 更 多 的 价格 信息 而 且 大 多 是 即时 的 ， 所 以 这 对 诀 策 者 
来 说 就 非常 有 荔 了 。 


混杂 性 ， 不 是 竭力 避免 ， 而 是 标准 途径 


确切 地 说 ， 在 许多 技术 和 社会 领域 ， 我 们 更 倾向 于 纷繁 混 森 。 我 们 
来 看 看 内 容 分 类 方面 的 情况 。 几 个 世纪 以 来 ， 人 们 一 直 用 分 类 法 和 索引 
法 来 帮助 自己 存储 和 检索 数据 资源 。 这 样 的 分 级 系统 通常 都 不 完善 
各 位 读者 没有 志 记 疼 书馆 卡片 目录 给 你 们 带 来 的 痛 兰 回忆 吧 ? 在 “小 数 
据 ? 范 围 内 ， 这 些 方法 就 很 效 ， 但 一 旦 把 数据 规模 增加 好 几 个 数量 
级 ， 这 些 预 设 一 切 都 各 就 各 位 的 系统 束 会 骨 尝 。 


相片 分 享 网 站 Flickr 在 2011 年 拥有 来 自 大 概 1 亿 用 户 的 60 亿 张 照 片 。 
根据 预先 设 定好 的 分 类 来 标注 每 张 照 片 就 没有 意义 了 。 难 道真 会 有 人 为 
他 的 照片 取 名 “ 像 希 特 勒 一 样 的 猫 * 吗 ? 
























































恰恰 相反 ， 清 楚 的 分 类 被 更 混乱 却 更 灵活 的 机 制 所 取代 了 。 这 些 机 
制 才 能 适应 改变 着 的 世界 。 当 我 们 上 传 照 片 到 Flickr 网 站 的 时 候 ， 我 们 
会 给 照片 添加 标签 。 也 就 是 说 ， 我 们 会 使 用 一 组 文本 标签 来 编组 和 搜索 
这 些 资源 。 人 们 用 自己 的 方式 创造 和 使 用 标签 ， 所 以 它 是 没有 标准 、 没 
有 预先 设 定 的 排列 和 分 类 ， 也 没有 我 们 必须 遵守 的 类 别 的 。 任 何人 都 可 
以 输入 新 的 标签 ， 标 签 内 容 事 实 上 了 吏 成 为 了 网 络 资源 的 分 类 标准 。 标 签 
被 广泛 地 应 用 于 Facebook、 博 客 等 社交 了 网络 上 。 因 为 它们 的 存在 ， 互 联 
网 上 的 资源 变 得 更 加 容易 找到 ， 特 别 是 像 图 片 、 视 频 和 音乐 这 些 无 法 用 
关键 词 搜索 的 非 文 本 类 资源 。。 


当然 ， 有 时 人 们 错 标 的 标签 会 导致 资源 编组 的 不 准确 ， 这 会 让 习惯 
了 精确 性 的 人 们 很 痛 苗 。 但 是 ， 我 们 用 来 编组 照片 集 的 混乱 方法 给 我 们 
融 来 了 很 多 好 处 。 比 如 ， 我 们 拥有 了 更 加 丰富 的 标签 内 容 ， 同 时 能 更 深 
更 广 地 获得 各 种 照片 。 我 们 可 以 通过 合并 多 个 搜索 标签 来 过 小 我 们 需要 
寻找 的 照片 ， 这 在 以 前 是 无 法 完成 的 。 我 们 添加 标签 时 所 固 带 的 不 准确 
性 从 东 种 意义 上 说 明 我 们 能 够 接受 世界 的 纷繁 复杂 。 这 是 对 更 加 精确 系 
统 的 一 种 对 抗 。 这 些 精 确 的 系统 试图 让 我 们 接受 一 个 世界 贫乏 而 规整 的 
惨 象 一 一 假装 世间 万 物 都 是 整齐 地 排列 的 。 而 事实 上 现实 是 纷 索 复 杂 
的 ， 天 地 间 存 在 的 事物 也 远 远 多 于 系统 所 设想 的 。 


互联 网 上 最 火 的 网 址 都 表明 ， 它 们 欣赏 不 精确 而 不 会 假装 精确 。 
当 一 个 人 在 网 站 上 见 到 一 个 Facebook 的 “喜欢 ”按钮 时 ， 可 以 看 到 有 多 少 
其 他 人 也 在 点 击 。 当 数量 不 多 时 ， 会 显示 像 *63” 这 种 精确 的 数字 。 当 数 
量 很 大 时 ， 则 只 会 显示 近似 值 ， 比 方 说 “4000”。 这 并 不 代表 系统 不 知道 
正确 的 数据 是 多 少 ， 只 是 当 数 量规 模 变 大 的 时 候 ， 确 切 的 数量 已 经 不 
那么 重要 了 。 另 外 ， 数 据 更 新 得 非常 快 ， 甚 至 在 刚刚 显示 出 来 的 时 候 可 
能 就 已 经 过 时 了 了。 所以， 同样 的 原理 适用 于 时 间 的 显示 。 谷 歌 的 Gmail 
邮箱 会 确切 标注 在 很 短 时 间 内 收 到 的 信件 ， 比 方 说 “11 分 钟 之 前 ”。 但 
是 ， 对 于 已 经 收 到 一 段 时 间 的 信件 ， 则 会 标注 如 “两 个 小 时 之 前 ”这 种 不 
太 确 切 的 时 间 信 息 。 


2000 年 以 来 ， 商 务 智能 和 分 析 软 件 领域 的 技术 供应 丙 们 一 直 承 诺 给 
客户 “一 个 唯一 的 真理 "。 执 行 官 们 用 这 个 词组 并 没有 讽刺 的 意思 ， 现 在 
也 依然 有 技术 供应 商 这 样 说 。 他 们 说 这 个 词组 的 意思 就 是 ， 每 个 使 用 该 
公司 信息 技术 系统 的 人 都 能 利用 同样 的 数据 资源 ， 这 样 市 场 部 和 营销 部 
的 人 员 们 就 不 需要 再 在 会 议 开始 前 和 争论， 到 底 是 谁 学 握 了 正确 的 客户 和 
销售 数据 了 。 这 个 想法 就 是 说 ， 如 有 果 他 们 知道 的 数据 是 一 致 的 ， 那 么 他 


























们 的 利益 也 会 更 一 致 。 


但 是 ，“ 一 个 唯一 的 真理 ”这 种 想法 已 经 彻底 被 改变 了 。 现 在 不 但 出 
现 了 一 种 新 的 认识 ， 即 “一 个 唯一 的 真理 ”的 存在 是 不 可 能 的 ， 而 且 妃 求 
这 个 唯一 的 真理 是 对 注意 力 的 分 散 。 要 想 获 得 大 规模 数据 带 来 的 好 
处 ， 温 乱 应 该 是 一 种 标准 途径 ， 而 不 应 该 是 竭力 避免 的 。 


我 们 甚至 发 现 ， 不 精确 已 经 渗入 了 数据 库 设计 这 个 最 不 能 容 妨 错误 
的 领域 。 传 统 的 数据 库 引 擎 要 求 数据 高 度 精 确 和 准确 排列 。 数 据 不 是 单 
纯 地 被 存储 ， 它 往往 被 划分 为 包含 “ 域 * 的 记录 ， 每 个 域 都 包含 了 特定 种 
类 和 特定 长 度 的 信息 。 比 方 说 ， 茶 个 数值 域 是 7 个 数字 长 ， 一 个 1000 万 
或 者 更 大 的 数值 就 无 法 被 记录 。 一 个 人 想 在 从 个 记录 手机 号 码 的 域 中 输 
入 一 捉 汉字 是 “不 被 允许 ”的 。 想 要 被 允许 也 可 以 ， 震 要 改变 数据 库 结构 
才 可 以 。 现 在 ， 我 们 依然 在 和 电脑 以 及 智能 手机 上 的 这 些 限制 进行 斗 
争 ， 比 如 软件 可 能 拒绝 记录 我 们 输入 的 数据 。 


索引 是 事先 就 设 定好 了 的 ， 这 也 就 限制 了 人 们 的 搜索 。 增 加 一 个 新 
的 守 引 往往 既 消耗 时 间 ， 又 邦人 讨论 ， 因 为 需要 改变 确 层 的 设计 。 传 统 
的 关系 数据 库 是 为 数据 稀缺 的 时 代 设 计 的 ， 所 以 能 够 也 需要 仔细 人 策划。 
在 那个 时 代 ， 人 们 遇 到 的 问题 无 比 清晰 ， 所 以 数据 库 被 设计 用 来 有 效 地 


回答 这 些 问题 。 


但 是 ， 这 种 数据 存储 和 分 析 的 方法 越 来 越 和 现实 相 冲 突 。 我 们 现在 
拥有 各 种 各 样 、 参 差 不 齐 的 海量 数据 。 很 少 有 数据 完全 符合 预先 设 定 的 
数据 种 类 。 而 且 ， 我 们 想 要 数据 回答 的 问题 ， 也 只 有 在 我 们 收集 和 处 理 
数据 的 过 程 中 才 会 知道 。 


新 的 数据 库 设计 的 诞生 


这 些 现实 条 件 导致 了 新 的 数据 库 设计 的 诞生 ， 它 们 打破 了 关于 记录 
和 预 设 场 域 的 成 规 。 预 设 场 域 显示 的 古 数据 的 整齐 排列 。 最 普 吉 的 数据 
库 碍 询 语言 是 结构 化 碍 询 语言 ， 英 文 缩写 为 "SQL 一 一 它 的 名 字 惑 显示 
了 它 的 僵化 。 但 是 ， 近 年 的 大 转变 就 是 非 关 系 型 数据 库 的 出 现 ， 它 不 需 
要 预先 设 定 记录 结构 ， 人 允许 处 理 超大 量 五 花 八 门 的 数据 。 因 为 包容 了 结 
构 多 样 性 ， 这 些 数据 库 设 计 束 要 求 更 多 的 处 理 和 存储 资源 。 但 是 ， 一 旦 
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NRE AE (Pat Helland) 是 来 自 微 软 的 世界 上 最 权威 的 数据 库 设 
计 专 家 之 一 ， 在 一 篇 题 为 《如 果 你 有 足够 多 的 数据 ， 那 么 “足够 好 ? 真 的 
足够 好 》 (和 You Have Too Much Data, then‘Good Enough’Is Good 
Enough) 的 文章 中 ， 他 把 这 称 为 一 个 重大 的 转弯。 分析 了 被 各 种 各 样 质 
量 参差 不 齐 的 数据 所 侵蚀 的 传统 数据 库 设 计 的 核心 原则 ， 他 得 出 的 结论 
Fe, “我 们 再 也 不 能 假装 活 在 一 个 齐整 的 世界 里 ”。 他 认为 ， 处 理 海量 数 
据 会 不 可 避免 地 导致 部 分 信息 的 缺失 。 虽 然 这 本 来 就 是 有 “损耗 性 ”的 ， 
但 是 能 快速 得 到 想 要 的 结果 弥补 了 这 个 缺陷 。 赫 兰 德 总结 说 :“ 略 有 焉 
疲 的 答案 并 不 会 伤 了 商家 的 胃口 ， 因 为 他 们 更 看 重 高 频率 。” 


传统 数据 库 的 设计 要 求 在 不 同 的 时 间 提 供 一 致 的 结果 。 比 方 说 ， 如 
果 你 查询 你 的 账户 结余 ， 它 会 提供 给 你 确切 的 数目 ， 而 你 几 秒 钟 之 后 碍 
询 的 时 候 ， 系 统 应 该 提供 给 你 同样 的 结果 ， 没 有 任何 改变 。 但 是 ， 随 大 
数据 数量 的 大 幅 增 加 以 及 系统 用 户 的 增加 ， 这 种 一 至 性 将 越 来 越 难 你 


持 。 











大 的 数据 库 并 不 是 固定 在 某 个 地 方 的 ， 它 一 般 分 散在 多 个 人 硬盘 和 多 
台电 脑 上 。 为 了 确保 其 运行 的 稳定 性 和 速度 ， 一 个 记录 可 能 会 分 开 存 储 
在 两 三 个 地 方 。 如 果 一 个 地 方 的 记录 更 新 了 ， 其 他 地 方 的 记录 则 只 有 同 
步 更 新 才 不 会 产生 错误 。 传 统 的 系统 会 一 直 等 到 所 有 地 方 的 记录 都 更 
新 ， 然 而 ， 当 数据 广泛 地 分 布 在 多 合 服务 器 上 而 且 服务 器 每 秒 钟 都 会 接 
受 成 千 上 万 条 搜索 指令 的 时 候 ， 同 步 更 新 就 比较 不 现实 了 。 因 此 ， 多 样 
性 是 一 种 解决 的 方法 。 


大 数据 先锋 
Hadoop 与 YISA 的 13 分 钟 


最 能 代表 这 个 转变 的 ， 就 是 Hadoop 的 流行 。Hadoop 是 与 谷歌 的 
MapReduce 系 统 相对 应 的 开源 式 分 布 系统 的 基础 淋 构 ， 它 非常 善于 处 理 
超大 量 的 数据 。 通 过 把 大 数据 变 成 小 模块 然后 分 配给 其 他 机 器 进行 分 
析 ， 它 实现 了 对 超大 量 数据 的 处 理 。 它 预 设 硬件 可 能 会 瘫痪 ,所 以 在 内 
部 建立 了 数据 的 副本 ， 它 还 假定 数据 量 之 大 导致 数据 在 处 理 之 前 不 可 能 
整齐 排列 。 典 型 的 数据 分 析 需 要 经 过 “ 荃 取 、 转 移 和 下 载 " 这 样 一 个 操作 
流程 ， 但 是 Hadoop 就 不 拘泥 于 这 样 的 方式 。 相 反 ， 它 假定 了 数据 量 的 巨 
大 使 得 数据 完全 无 法 移动 ， 所 以 人 们 必须 在 本 地 进行 数据 分 析 。 


Hadoop 的 输出 结果 没有 关系 型 数据 库 输出 结果 那么 精确 ， 它 不 能 用 




















































































































TELERS, TPA TCP WA tre RE ERIR IES o (HEM 
不 要 求 极 端 精 确 的 任务 ， 它 就 比 其 他 系统 运行 得 快 很 多 ， 比 如 说 把 顾客 
分 群 ， 然 后 分 别 进行 不 同 的 营销 活动 。 


信用 卡 公 司 VISA 使 用 Hadoop， 能 够 将 处 理 两 年 内 730 亿 单 交 易 所 需 
的 时 间 ， 从 一 个 月 缩减 至 仅仅 13 分 钟 。 这 样 大 规模 处 理 时 间 上 的 缩减 足 
以 变革 商业 了 。 也 许 Hadoop 不 适合 正规 记 账 ， 但 是 当 可 以 允许 少量 错误 
的 时 候 它 就 非常 实用 。 


ZestFinance， 一 个 由 谷歌 前 任 首席 信息 官 道格拉斯 :梅里 尔 创 立 的 
公司 ， 用 自己 的 经 验 再 次 验证 了 “宽容 错误 会 给 我 们 带 来 更 多 价值 ”这 一 
观点 。 这 家 公司 帮助 决策 者 判断 是 否 应 该 回 某 些 拥 有 不 良 信用 记录 的 人 
提供 小 额 短 期 贷 球 。 传 统 的 信用 评分 机 制 关 注 少 量 突出 的 事件 ， 比 如 一 
次 还 球 的 延 人 运 ， 而 ZestFinance 则 分 析 了 大 量 不 那么 突出 的 事件 。2012 
年 ， 让 ZestFinance 引 以 为 豪 的 就 是 ， 它 的 贷款 拖欠 率 比 行业 平均 水 平 要 
低 三 分 之 一 左右 。 唯 一 的 得 胜 之 道 还 是 拥抱 混杂 。 


梅里 尔 说 : “有 趣 的 是 ， 对 我 们 而 言 ， 基 本 没有 任何 一 个 人 的 信息 
是 齐备 的 ， 事 实 上 ， 总 有 大 量 的 数据 缺失 。” 由 ZestFinance 创 建 的 用 来 
记录 客户 信息 的 矩阵 是 难以 想象 得 稀 琉 ， 里 面 充满 了 数据 的 空洞， 但 
ZestFinance 在 这 些 文 离 破 碎 的 数据 中 如 鱼 得 水 。 举 个 例子 ， 有 10% 的 客 
户 属 性 信息 显示 “已 经 死亡 ”， 但 是 依然 可 以 从 他 们 身上 收回 贷款 。 梅 里 
尔 一 脸 坏 笑 地 说 :“ 显 然 ， 没 有 人 会 企盼 僵尸 复活 并 且 主 动 还 贷 。 但 是 
我 们 的 数据 显示 ， 放 贷 给 僵尸 是 一 项 不 错 的 生意 。” 


接受 混乱 ， 我 们 束 能 至 受 极其 有 用 的 服务 ， 这 些 服 务 如 果 使 用 传统 
aua aa re rath ger ee ope 
和 数据。 


大 数据 的 力量 


据 估 计 ， 只 有 5% 的 数字 数据 是 结构 化 的 且 能 适用 于 传统 数据 库 。 
如 条 不 接受 混乱 ， 剩 下 95% 的 非 结 构 化 数据 都 无 法 役 利用 ， 比 如 网 页 和 
视频 资源 。 通 过 接受 不 精确 性 ， 我 们 打开 了 一 个 从 未 涉足 的 世界 的 窗 
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社会 将 两 个 折 中 的 想法 不 知 不 觉 地 渗入 了 我 们 的 处 事 方法 中 ， 我 们 
甚至 不 再 把 这 当成 一 种 折 中 ， 而 是 把 它 当 成 了 事物 的 自然 状态 。 


第 一 个 折 中 是 ， 我 们 默认 自己 不 能 使 用 更 多 的 数据 ， 所 以 我 们 就 
不 会 去 使 用 更 多 的 数据 。 但 是 ， 数 据 量 的 限制 正在 逐渐 消失 ， 而 且 通 
过 无 限 接近 “样本 = 总 体 ” 的 方式 来 处 理 数据 ， 我 们 会 获得 极 大 的 好 人 处。 


第 二 个 折 中 出 现在 数据 的 质量 上 。 在 小 数据 时 代 ， 追 求 精确 度 是 
合理 的 。 因 为 当时 我 们 收集 的 数据 很 少 ， 所 以 需要 越 精确 越 好 。 如 今 这 
依然 适用 于 一 些 事情 。 但 是 对 于 其 他 事情 ， 快 速 获得 一 个 大 概 的 轮廓 和 
发 展 脉络 ， 就 要 比 严格 的 精确 性 要 重要 得 多 。 


大 数据 洞察 


我 们 怎么 看 答 使 用 所 有 数据 和 使 用 部 分 数据 的 差别 ， 以 及 我 们 怎样 
选择 放松 要 求 并 取代 严格 的 精确 性 ， 将 会 对 我 们 与 世界 的 沟通 产生 深刻 
的 影响 。 随 着 大 数据 技术 成 为 日 常生 活 中 的 一 部 分 ， 我 们 应 该 开始 从 一 
个 比 以 前 更 大 更 全 面 的 角度 来 理解 事物 ， 也 就 是 说 应 该 将 “样本 = 总 
体 ” 植 入 我 们 的 思维 中 。 


现在 ， 我 们 能够 容 妨 模糊 和 不 确定 出 现在 一 些 过 去 依赖 于 清晰 和 精 
确 的 领域 ， 当 然 过 去 可 能 也 只 是 有 清晰 的 假象 和 不 完全 的 精确 。 只 要 我 
们 能 够 得 到 一 个 事物 更 完整 的 概念 ， 我 们 就 能 接受 模糊 和 不 确定 的 存 
在 。 就 像 印象 派 的 画 风 一 样 ， 近 看 男 中 的 每 一 笔 都 感觉 是 混乱 的 ， 但 是 
退 后 一 步 你 就 会 发 现 这 是 一 幅 伟 大 的 作品 ， 因 为 你 退 后 一 步 的 时 候 就 能 
看 出 男 作 的 整体 思路 了 。 


相 比 依赖 于 小 数据 和 精确 性 的 时 代 ， 大 数据 因为 更 强调 数据 的 完整 
性 和 混杂 性 ， 和 帮助 我 们 进一步 接近 事实 的 真相 。“ 部 分 ”和 “确切 ”的 吸引 
力 古 可 以 理解 的 。 但 是 ， 当 我 们 的 视野 局 限 在 我 们 可 以 分 析 和 能 够 确定 
的 数据 上 时 ， 我 们 对 世界 的 整体 理解 就 可 能 产生 偏差 和 错误 。 不 仪 失 去 
了 去 尽力 收集 一 切 数据 的 动力 ， 也 失去 了 从 各 个 不 同 角度 来 观察 事物 的 
权利 。 所 以 ， 局 限于 狭隘 的 小 数据 中 ， 我 们 可 以 自 聚 于 对 精确 性 的 退 
PE ne E ree erin etn ona 
Filo 


大 数据 洞察 
大 数据 要 求 我 们 有 所 改变 ， 我 们 必须 能 够 接受 混乱 和 不 确定 性 。 精 


确 性 似乎 一 直 是 我 们 生活 的 文 撑 ， 就 像 我 们 常 阅 的 “ 钉 是 条 ， 钾 是 钾 ”。 
但 认为 每 个 问题 只 有 一 个 答案 的 想法 是 站 不 住 脚 的 ， 不 管 我 们 承 不 承 


















































认 。 一 旦 我 们 承认 了 这 个 事实 甚至 拥护 这 个 事实 的 话 ， 我 们 离 真 相 就 义 


EJ 一步。 


这 些 思想 上 的 重大 转变 导致 了 第 三 个 变革 ， 这 个 变革 有 望 颠 覆 很 多 
传统 观念 。 这 些 传统 观念 更 加 基本 ， 往 往 和 被 认为 是 社会 建立 的 根基 : 找 
到 一 切 事情 发 生 背后 的 原因 。 然 而 其 实 很 多 时 候 ， 寻 找 数据 间 的 关联 并 
利用 这 种 关联 就 足够 了 。 这 是 我 们 下 一 个 章节 将 要 讨论 的 。 











[计算 机 象棋 的 残局 的 确 可 以 做 到 完美 ， 但 其 拱 枯 拉 朽 的 表现 主 
要 还 不 在 于 残局 。 有 训练 的 棋 手 都 能 在 6 个 子 的 情况 下 不 犯错 误 。 这 方 
面 的 分 析 和 思索 ， 不 妨 参 照 一 代 棋 王 加 里 : 卡 斯 帕 罗 夫 (Garry 
Kasparov) 的 作品 ， 他 亦 是 对 对 “深蓝 ”的 棋 王 。 一 一 译 者 注 


[2] 所 有 包含 不 超过 6 子 的 残局 谱 最 早 是 由 Unix 创 造 者 肯 : 汤 普 森 发 
明 的 ， 目 前 的 全 量 残局 谱 已 经 可 以 包含 不 超过 7 子 的 全 量 局 面 。 一 一 详 
者 注 


[B] 特定 的 大 数据 企业 可 以 用 类 似 的 思路 提供 实时 的 指数 ， 例 如 著 
名 的 淘宝 消费 物价 指数 “TCPI〉， 其 数据 来 自 于 淘宝 网 内 消费 ， 可 以 做 
到 完全 实时 更 新 。 译 者 注 


[4] 虽然 完全 由 用 户 自由 添加 ， 标 签 的 形成 和 组 织 也 有 上 自 吴 的 规 
律 。 好 的 标签 使 用 习惯 会 帮助 用 户 更 好 管理 资源 ， 也 会 让 用 户 的 照片 、 
博客 等 受到 更 多 关注 。 相 反 ， 胡 乱 添 加 标签 也 会 伤害 自己 。 与 此 同时 ， 
标签 可 以 帮助 系统 提供 更 好 的 搜索 和 推荐 服务 。 关 于 标签 系统 的 最 新 研 
究 成 果 汇 总 ， 可 以 参考 张 子 柯 等 人 2011 年 在 Journal of Computer Science 
and Technology 上 发 表 的 “Tag-aware recommender systems: A state-of-the- 
art Survey” 一 文 。 一 一 详 者 注 




















03 更 好 : 不 是 因 末 关系 ， 而 是 相关 关系 


知道 “是 什么 ” 束 够 了 ， 没 必要 知 记 “为 什么 * 。 在 大 数据 时 代 ， 我 们 
不 必 非 得 知道 现象 背后 的 原因 ， 而 是 要 让 数据 自己 “发 声 ”。 


【大 数据 先锋 】 
沃尔玛 ， 请 把 蛋 氛 与 飓风 用 品 摊 在 一 起 
FICO,“ 我 们 知道 你 明天 会 做 什么 ” 
美国 折扣 零售 商 塔 吉 特 与 怀孕 预测 
UPS 与 汽车 修理 预测 
大 数据 预测 早产 儿 病 情 
幸福 感 的 非 线性 关系 
二 手 车 质量 预测 
纽约 大 型 沙井 新 爆炸 预测 

PRE WV Sy HE EAA 
1997 年 ，24 岁 的 格雷 格 - 林 登 (Greg Linden) 在 华盛顿 大 学 就 读 博 
士 ， 研 究 人 工 智能 ， 闲 暇 之 余 ， 他 会 在 网 上 卖 书 。 他 的 网 店 运 营 才 两 年 
就 已 经 生意 兴隆 。 他 回忆 说 :“ 我 爱 卖 书 和 知识 ， 帮 助人 们 找到 下 一 个 
他 们 可 能 会 感 兴 趣 的 知识 点 。 ”他 注册 的 这 家 网 店 就 是 日 后 大 获 成 功 的 
亚马逊 。 后 来 林 登 被 亚 蕊 了 进 聘 为 软件 工程 师 ， 以 确保 网 站 的 正常 运行 。 
亚马逊 的 技术 含量 不 仅 体现 在 其 工作 人 员 上 。 虽 然 亚马逊 的 故事 大 
多 数 人 都 耳熟能详 ， 但 只 有 少数 人 知道 它 的 内 容 最 初 是 由 人 工 杀 自 完 成 
的 。 当 时 ， 它 聘请 了 一 个 由 20 多 名 书评 家 和 编辑 组 成 的 团队 ， 他 们 写 书 
评 、 推 荐 新 书 ， 挑 选 非常 有 特色 的 新 书 标 题 放 在 亚马逊 的 网 页 上 。 这 个 


团队 创立 三 亚马逊 的 声音 ?这 个 版 块 ， 成 为 当时 公司 这 项 旦 冠 上 的 一 颗 
宝石 ， 是 其 竞争 优势 的 重要 来 源 。《 华 尔 街 日 报 》 的 一 篇 文章 中 热情 地 












































称 他 们 为 全 类 最 有 影响 力 的 书评 家 ， 因 为 他 们 使 得 书籍 销量 狐 增 。 


A: WAI Jeff Bezos) ， 亚 马 逊 公司 的 创始 人 以 及 总 裁 ， 决 定 
答 试 一 个 极 富 创造 力 的 想法 : 根据 客户 个 人 以 前 的 购物 喜好 ， 为 其 推荐 
具体 的 书籍 。 从 一 开始 ， 亚 马 逊 已 从 每 一 个 客户 身上 捕获 了 大 量 的 数 
据 。 比 如 说 ， 他 们 购买 了 什么 书籍 ?哪些 书 他 们 只 浏览 却 没有 购买 ? 他 
们 浏览 了 多 久 ? 哪些 书 是 他 们 一 起 购买 的 ? 


客户 的 信息 数据 量 非 常 大 ， 所 以 亚 马 进 必须 先 用 传统 的 方法 对 其 进 
行 处 理 ， 通 过 样本 分 析 找 到 客户 之 间 的 相似 性 。 但 这 些 推荐 信息 是 非常 
原始 的 ， 就 如 同 你 在 波兰 购买 一 本 书 ， 会 被 东欧 其 他 地 区 的 价格 水 平 搞 
得 军 头 转 同 ， 或 者 在 买 一 件 婴 儿 用 品 时 ， 会 被 淹没 在 一 堆 差 不 多 的 砚 儿 
用 品 中 一 样 。 詹 姆 斯 : 马 库 斯 (James Marcus) 回忆 说 : “推荐 信息 往往 
为 你 提供 与 你 以 前 购买 物品 有 微小 差异 的 产品 ， 并 且 循 环 往复 。” 詹 姆 
斯 : 马 库 斯 从 1996 年 到 2001 年 都 是 亚 马 进 的 书评 家 ， 在 他 的 回忆 录 《 亚 
Se a tae 
aye.” 


格雷 格林 登 很 快 就 找到 了 一 个 解决 方案 。 他 意识 到 ， 推 荐 系统 实 
际 上 并 没有 必要 把 顾客 与 其 他 顾客 进行 对 比 ， 这 样 做 其 实在 技术 上 也 比 
较 烦 珊 。 它 需要 做 的 是 找到 产品 之 间 的 关联 性 。1998 年 ， 林 登 和 他 的 同 
事 申 请 了 著名 的 “item-to-item” 协 同 过 沽 技术 的 专利 un。 方 法 的 转变 使 技 
KRÆ TRER KRM. 


因为 估算 可 以 提前 进行 ， 所 以 推荐 系统 快 如 闪电 ， 而 且 适 用 于 各 种 
各 样 的 产品 。 因 此 ， 当 亚马逊 跨 界 销售 除 书 以 外 的 其 他 商品 时 ， 也 可 以 
对 电影 或 烤 面 包机 这 些 产 品 进行 推荐 。 由 于 系统 中 使 用 了 所 有 的 数据 ， 
推荐 会 更 理想 。 林 登 回忆 道 :“ 在 组 里 有 名 玩笑 话 ， 说 的 是 如 果 系 统 运 
a a 本 书 ， 而 这 本 书 束 是 你 将 要 买 的 下 一 本 


现在 ， 公 司 必须 决定 什么 应 该 出 现在 网 站 上 。 是 亚 马 进 内 部 书评 家 
写 的 个 人 建议 和 评论 ， 还 是 由 机 器 生成 的 个 性 化 推荐 和 畅销 书 排行 榜 ? 
批评 者 说 了 什么 ， 或 者 是 顾客 的 点 击 意 味 独 什么 ”从 字面 上 来 讲 ， 这 是 
一 场 人 与 鼠标 的 战争 。 


林 登 做 了 一 个 关于 评论 家 所 创造 的 销售 业绩 和 计算 机 生成 内 容 所 产 
生 的 销售 业绩 的 对 比 测试 ， 结 果 他 发 现 两 者 之 间 的 业绩 相关 其 远 。 他 解 














RE, TET TE Te m TS AI ze eH PP OTK TEAL 
可 能 不 知道 为 什么 喜欢 海明威 作品 的 客户 会 购买 菲 次 杰 拉 德 的 书 。 但 是 
这 似乎 并 不 重要 ， 重 要 的 是 销量 。 最 后 ， 编 辑 们 看 到 了 销售 额 分 机 ， 亚 
马 逊 也 不 得 不 放弃 每 次 的 在 线 评论 ， 最 终 书 评 组 被 解散 了 。 林 登 回忆 

说 : “书评 团队 被 打败 、 被 解散 ， 我 感到 非 党 难过。 但是， 数据 没有 说 
说， 人 工 评 论 的 成 本 是 非常 高 的 。” 


如 今 ， 据 说 亚马逊 销售 额 的 三 分 之 一 都 是 来 目 于 它 的 个 性 化 推荐 系 
统 。 有 了 和 它 ， 亚 马 逊 不 仅 使 很 多 大 型 书店 和 音乐 唱 卢 商店 鞭 业 ， 而 且 当 
地 数 百 个 目 认 为 有 目 己 风格 的 书 商 也 难免 受 转型 之 风 的 影响 。 事 实 上 ， 
林 登 的 工作 彻底 改变 了 电子 商务 ， 现 在 几乎 每 个 人 都 在 使 用 电子 商务 。 


共 飞 公司 是 一 个 在 线 电影 租赁 公司 ， 它 四 分 之 三 的 新 订单 都 来 自 推 
荐 系统 。 在 亚 马 进 的 带领 下 ， 成 干 上 万 的 网 站 可 以 推荐 产品 、 内 容 和 朋 
友 以 及 很 多 相关 的 信息 ， 但 并 不 知道 为 什么 人 们 会 对 这 些 信息 感 兴趣 。 


知道 人 们 为 什么 对 这 些 信息 感 兴趣 可 能 是 有 用 的 ， 但 这 个 问题 目前 
并 不 是 很 重要 。 但 是 ， 知 道 “ 是 什么 ”可 以 创造 点 击 率 ， 这 种 洞察 力 足 
以 重 塑 很 多 行业 ， 不 仅仅 只 是 电子 商务 。 所 有 行业 中 的 销售 人 员 早 就 
被 告知 ， 他 们 需要 了 解 是 什么 让 客户 做 出 了 选择 ， 要 把 握 客户 做 决定 背 
后 的 真正 原因 ， 因 此 专业 技能 和 多 年 的 经 验 受 到 高 度 重 视 。 大 数据 却 显 
示 ， 还 有 另外 一 个 在 某 些 方面 更 有 用 的 方法 。 亚 马 逊 的 推荐 系统 梳理 出 
了 有 趣 的 相关 关系 ， 但 不 知道 背后 的 原因 。 知 道 是 什么 就 够 了 ， 没 必 
要 知道 为 什么 。 















































关联 物 ， 预 测 的 关键 


在 小 数据 世界 中 ， 相 关 关 系 也 是 有 用 的 ， 但 在 大 数据 的 背景 下 ， 相 
天 关系 大 放 寞 彩 。 通 过 应 用 相关 关系 ， 我 们 可 以 比 以 前 更 容易 、 更 快 
捷 、 更 清楚 地 分 析 事 物 。 

大 数据 洞察 

相关 关系 的 核心 是 量化 两 个 数据 值 之 间 的 数理 关系 。 相 关 关 系 强 是 
旨 当 一 个 数据 值 增加 时 ， 另 一 个 数据 值 很 有 可 能 也 会 随 之 增加 。 我 们 已 
经 看 到 过 这 种 很 强 的 相关 关系 ， 比 如 谷歌 流感 趋势 : 在 一 个 特定 的 地 理 
位 置 ， 越 多 的 人 通过 谷歌 搜索 特定 的 词 条 ， 该 地 区 束 有 更 多 的 人 患 了 流 
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相反 ， 相 关 关 系 弱 束 意味 着 当 一 个 数据 值 增加 时 ， 力 一 个 数据 值 几 
乎 不 会 发 生变 化 。8 例 如 ， 我 们 可 以 寻找 天 于 个 人 的 鞋 码 和 笠 福 的 相关 
关系 ， 但 会 发 现 它们 几乎 扯 不 上 什么 关系 。 


相关 关系 通过 识别 有 用 的 关联 物 来 帮助 我 们 分 析 一 个 现象 ， 而 不 是 
通过 揭示 其 内 部 的 运作 机 制 。 当 然 ， 即 使 是 很 强 的 相关 关系 也 不 一 定 能 
解释 每 一 种 情况 ， 比 如 两 个 事物 看 上 去 行为 相似 ， 但 很 有 可 能 只 是 巧 











合 。 如 实证 学 家 纳西 姆 :尼古拉斯 : 塔 勒 布 (Nassim Nicholas Taleb) 所 
言 ， 我 们 可 能 只 是 “被 随机 性 所 思 弄 ?而 已 。 相 关 关 系 没 有 绝对 ， 只 有 可 
ab 





能 性 。 也 就 是 说 ， 不 是 亚马逊 推荐 的 每 本 书 都 是 顾客 想 买 的 书 。 但 是 ， 
如 打 相 关头 系 强 ， 一 个 相关 链接 成 功 的 概率 是 很 高 的 。 这 一 点 很 多 人 可 
以 证 明 ， 他 们 的 书 朵 上 有 很 多 书 都 是 因为 亚马逊 推荐 而 购买 的 。 


通过 给 我 们 找到 一 个 现象 的 民 好 的 关联 物 ， 相 关 关 系 可 以 帮助 我 
们 捕捉 现在 和 预测 未 来 。 如 果 A 和 B 经 常 一 起 发 生 ， 我 们 只 需要 注意 到 
B 发 生 了 ， 就 可 以 预测 A 也 发 生 了 。 这 有 助 于 我 们 捕捉 可 能 和 A 一 起 发 生 
的 事情 ， 即 使 我 们 不 能 直接 测量 或 观察 到 A。 更 重要 的 是 ， 它 还 可 以 帮 
助 我 们 预测 未 来 可 能 发 生 人 什么。 当然， 相关 关系 是 无 法 预知 未 来 的 ， 他 
们 只 能 预测 可 能 发 生 的 事情 。 但 是 ， 这 已 经 极其 珍贵 了 。 


大 数据 先锋 
沃尔玛 ， 请 把 借 扶 与 飓风 用 品 摆 在 一 起 


沃尔玛 是 世界 上 最 大 的 零售 商 ， 拥 有 超过 200 万 的 员工 ， 销 售 额 约 
4500 亿 美元 ， 比 大 多 数 国家 的 国内 生产 总 值 还 多 。 在 网 络 珊 来 巨 多 数据 
之 前 ， 沃 尔 玛 在 美国 企业 中 拥有 的 数据 资源 应 该 是 最 多 的 。 昌 


在 20 世 纪 90 年 代 ， 零 售 链 通 过 把 每 一 个 产品 记录 为 数据 而 彻底 改变 
了 零售 行业 。 沃 尔 玛 可 以 让 供应 商 监 控 销售 速率 、 数 量 以 及 存货 的 情 
况 。 添 尔 玛 通过 打造 透明 上 度 来 迫使 供应 商 照 顾 好 目 己 的 物流 。 在 许多 情 
况 下 ， 沃 尔 玛 不 接受 产品 的 “所 有 权 ”， 除 非 产 品 已 经 开始 销售 ， 这 样 就 
避免 了 存货 的 风险 也 降低 了 成 本 。 实 际 上 ， 添 尔 玛 运用 这 些 数据 使 其 成 
为 了 世界 上 最 大 的 “寄售 店 ”。 


倘 耕 得 到 正确 分 析 ， 历 史 数 据 能 够 解释 什么 呢 ?” 零 售 商 与 天 窒 资 讯 
(Teradata) 8 专业 的 数字 统计 员 一 起 研究 发 现 了 有 趣 的 相关 关系 。2004 
年 ， 添 尔 玛 对 历史 交易 记录 这 个 庞大 的 数据 库 进 行 了 观察 ， 这 个 数据 库 



































记录 的 不 仅 包 括 每 一 个 顾客 的 购物 清单 以 及 消费 额 ， 还 包括 购物 篮 中 的 
物品 、 有 具体 购买 时 间 ， 甚 至 购买 当日 的 天 气 。 


沃尔玛 公司 注意 到 ， 每 当 在 季 布 性 飓风 来 临 之 前 ， 不 仅 手 电 简 销售 
Ben Ss, M HPOP-Tartstetk (RAGES A) 的 销量 也 增加 
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用 品 的 位 置 ， 以 方便 行 色 匆 匆 的 顾客 从 而 增加 销量 。 


过 去 ， 总 部 的 人 员 们 需要 先 有 了 想法 ， 然 后 才能 收集 数据 来 测试 这 
个 想法 的 可 行 性 。 如 今 ， 我 们 有 了 如 此 之 多 的 数据 和 更 好 的 工具 ， 所 以 
要 找到 相关 系 变 得 更 快 、 更 容易 了。 这 就 意味 着 我 们 必须 关注 : 当 数 据 
点 以 数量 级 方式 增长 的 时 候 ， 我 们 会 观察 到 许多 似是而非 的 相关 关系 。 
毕竟 我 们 还 处 于 考察 相关 关系 的 初期 ， 所 以 这 一 点 需要 我 们 高 度 重 视 。 


在 大 数据 时 代 来 临 前 很 入 ， 相 关 关 系 就 已 经 被 证 明 大 有 用 途 。 这 个 
观点 是 1888 年 查尔斯 :达尔 文 的 表 弟 弗 天 西 斯 :高 尔 顿 茵 士 〈Francis 
Galton) 提出 的 ， 因 为 他 注意 到 人 的 身高 和 前 臂 的 长 度 有 关系 。 相 关 关 
系 背 后 的 数学 计算 是 直接 而 又 有 活力 的 ， 这 是 相关 关系 的 本 质 特 征 ， 也 
是 让 相关 关系 成 为 最 广泛 应 用 的 统计 计量 方法 的 原因 。 但 是 在 大 数据 时 
代 之 前 ， 相 关 关 系 的 应 用 很 少 。 因 为 数据 很 少 而 且 收 集 数据 很 费时 费 
力 ， 所 以 统计 学 家 们 喜欢 找到 一 个 关联 物 ， 然 后 收集 与 之 相关 的 数据 进 
行 相关 关系 分 析 来 评测 这 个 关联 物 的 优 劣 。 那 么 ， 如 何 寻 找 这 个 关联 物 
呢 ? 


除了 仅仅 依靠 相关 关系 ， 专 家 们 还 会 使 用 一 些 建立 在 理论 基础 上 的 
假想 来 指导 自己 选择 适当 的 关联 物 。 这 些 理论 就 是 一 些 抽象 的 观点 ， 关 
于 事物 是 怎样 运作 的 。 然 后 收集 与 关联 物 相关 的 数据 来 进行 相关 关系 分 
析 ， 以 证 明 这 个 关联 物 是 否 真 的 合适 。 如 果 不 合适 ， 人 们 通常 会 固执 地 
再 次 尝试 ， 因 为 担心 可 能 是 数据 收集 的 错误 ， 而 最 终 却 不 得 不 承认 一 开 
始 的 假想 甚至 假想 建立 的 基础 都 是 有 缺陷 和 必须 修改 的 。 这 种 对 假想 的 
反复 试验 促进 了 学 科 的 发 展 。 但 是 这 种 发 展 非 常 缓慢 ， 因 为 个 人 以 及 团 
体 的 偏见 会 蒙蔽 我 们 的 双眼 ， 叶 致 我 们 在 设立 假想 、 应 用 假想 和 选择 关 
aR a 


在 大 数据 时 代 ， 通 过 建立 在 人 的 偏见 基础 上 的 关联 物 监测 法 已 经 不 
再 可 行 ， 因 为 数据 库 太 大 而 且 需 要 考虑 的 领域 太 复杂 。 壹 运 的 是 ， 许 多 
迫使 我 们 选择 假想 分 析 法 的 限制 条 件 也 逐渐 消失 了 。 我 们 现在 拥有 如 此 























at 

































































多 的 数据 ， 这 么 好 的 机 器 计算 能 力 ， 因 而 不 再 需要 人 工 选择 一 个 关联 
物 或 者 一 小 部 分 相似 数据 来 逐一 分 析 了 。 复 杂 的 机 需 分 析 能 为 我 们 辨 
认 出 谁 是 最 好 的 代理 ， 惑 像 在 谷歌 流感 趋势 中 ， 计 算 机 把 检索 词 条 在 5 
人 
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我 们 理解 世界 不 再 需要 建立 在 假设 的 基础 上 ， 这 个 假设 是 指针 对 现 
象 建立 的 有 关 其 产生 机 制 和 内 在 机 理 的 假设 。 因 此 ， 我 们 也 不 需要 建立 
这 样 一 个 假设 ， 关 于 哪些 词 条 可 以 表示 流感 在 何 时 何 地 传播 ， 我 们 不 需 
要 了 解 航 空 公司 怎样 给 机 票 定 价 ， 我 们 不 需要 知道 沃尔玛 的 顾客 的 页 饪 
言 好。 取而代之 的 是 ， 我 们 可 以 对 大 数据 进行 相关 关系 分 析 ， 从 而 知道 
哪些 检索 词 条 是 最 能 显示 流感 的 传播 的 ， 飞 机 票 的 价格 是 人 否 会 飞涨 ， 哪 
些 食物 是 飓风 期 间 待 在 家 里 的 人 最 想 吃 的 。 我 们 用 数据 驱动 的 关于 大 数 
据 的 相关 关系 分 析 法 ， 取 代 了 基于 假想 的 易 出 错 的 方法 。 大 数据 的 相关 
关系 分 析 法 更 准确 、 更 快 ， 而 且 不 易 受 偏见 的 影响 。 


建立 在 相关 关系 分 析 法 基础 上 的 预测 是 大 数据 的 核心 。 这 种 预测 
发 生 的 频率 非常 高 ， 以 至 于 我 们 经 党 忽略 了 它 的 创新 性 。 当 然 ， 它 的 应 
用 会 越 来 越 多 。 


大 数据 先锋 
FICO, “我 们 知道 你 明天 会 做 什么 ” 


一 个 人 的 信用 常 被 用 来 预测 他 /她 的 个 人 行为 。 美 国 个 人 消费 信用 
评估 公司 ， 也 被 称 为 FICO， 在 20 世 纪 50 年 代 发 明了 信用 分 。2011 年 ， 
FICO 提 出 了 “遵从 医嘱 评分 交 一 和 它 分 析 一 系列 的 变量 来 确定 这 个 人 是 否 
会 按时 吃 药 ， 包 括 一 些 看 起 来 有 点 怪异 的 变量 。 比 方 说 ， 一 个 人 在 某 地 
居住 了 多 和 久 ， 这 个 人 结婚 了 没有 ， 他 多 久 换 一 个 工作 以 及 他 是 否 有 私家 
车 。 这 个 评分 会 帮助 医疗 机 构 节 省 开 文 ， 因 为 它们 会 知道 哪些 人 需要 得 
到 它们 的 用 药 提 醒 。 有 私家 车 和 使 用 抗生素 并 没有 因果 关系 ， 这 只 是 一 
种 相关 关系 。 但 是 这 就 足够 激发 FICO 的 首席 执行 官 扬言 ，“ 我 们 知道 你 
明天 会 做 什么 。” 这 是 他 在 2011 年 的 投资 人 大 会 上 说 的 。 

另 一 个 征 信 机 构 ， 益 百 利 Experian) 有 一 种 服务 ， 可 以 根据 个 人 


的 信用 卡 交 易 记 录 预 测 个 人 的 收入 情况 。 通 过 分 析 公 司 拥有 的 信用 卡 历 
和 



































大 数据 的 力量 


证 明 一 个 人 的 收入 状况 要 花费 10 美 元 左右 ,但 是 荔 百 利 的 预测 结果 
售 价 不 足 1 美元 。 


所 以 有 时 候 ， 通 过 代理 取得 数据 信息 比 上 自己 去 操作 烦琐 的 程序 要 便 
宜 得 多 。 同 时 还 有 另 一 个 征 信 机 构 出 售 * 文 付 能 力 指数 "和 * 可 文 配 文 出 
指数 "， 这 些 指数 是 用 来 预测 一 个 人 的 支付 能 力 的 。 


相关 关系 的 运用 更 加 广泛 了。 中身 人 寿 保险 有 限 公 司 (Aviva) 是 
一 家 大 型 保险 公司 ， 他 们 想 利用 信用 报告 和 顾客 市 场 分 析 数 据 来 作为 部 
分 申请 人 的 血液 和 尿 液 分 析 的 关联 物 。 这 些 分 析 结 果 人 被 用 来 找 出 更 有 可 
能 患 高 血压 、 糖 尿 病 和 抑郁 症 的 人 。 其 中 用 来 分 析 的 数据 包括 好 几 百 种 
生活 方式 的 数据 ， 比 如 爱好 、 第 浏览 的 网 站 、 看 的 节目 、 收 入 住 计 

















Aviva 的 预测 模型 是 由 德勤 咨询 公司 及 明 的 ， 公 司 觉得 这 可 以 用 来 
发 现 健康 隐患 。 其 他 保险 公司 如 英国 保 诚 保险 有 限 公司 (Prudentia〉 和 
美国 国际 集团 CAIG) 都 承认 它们 也 在 考虑 类 似 的 方法 。 好 处 束 是 ， 申 
人 
Hoo 














大 数据 的 力量 


通过 利用 相关 关系 ， 保 险 公司 可 以 在 每 人 身上 市 省 125 美 元 ， 然 而 
这 个 纯 数据 分 析 法 只 需要 花费 5 美元 。 


有 些 人 可 能 会 觉得 这 种 方法 听 起 来 很 恕 怖 ， 这 些 公司 似乎 可 以 利用 
任何 网 络 上 的 信息 。 这 会 让 人 们 下 次 登陆 极限 运动 网 站 和 坐 到 电视 机 前 
观看 幽默 情景 剧 前 三 思 而 后 行 ， 因 为 不 想 因 此 文 付 更 多 的 保险 费用 。 让 
我 们 在 接触 任何 信息 的 时 候 (同时 也 产生 可 能 被 分 析 的 数据 〉 都 胆 战 心 
恢 古 一 件 非常 糟 糙 的 事情 。 但 另 一 方面 ， 这 个 系统 有 助 于 更 多 的 人 得 到 
保险 ， 这 对 于 社会 和 保险 公司 部 是 有 好 处 的 。 


大 数据 先锋 


美国 折扣 零售 商 塔 吉 特 与 怀孕 预测 
































大 数据 相关 关系 分 析 的 极致 ， 非 美国 折扣 零售 商 塔 吉 特 〈Target ) 
英 属 了 。 该 公司 使 用 大 数据 的 相关 关系 分 析 已 经 有 多 年 。《 纽 约 时 报 》 
的 记者 查尔斯 : 杜 西 格 (Charles Duhigg) 就 在 一 份 报 道中 逆 述 了 塔 吉 特 
公司 怎样 在 完全 不 和 准 妈 妈 对 话 的 前 提 下 预测 一 个 女性 会 在 什么 时 候 怀 
孕 。 基 本 上 来 说 ， 就 是 收集 一 个 人 可 以 收集 到 的 所 有 数据 ， 然 后 通过 相 
天 关系 分 析 得 出 事情 的 真实 状况 。 


对 于 零售 商 来 说 ， 知 道 一 个 顾客 是 否 怀孕 是 非常 重要 的 。 因 为 这 是 
一 对 夫妻 改变 消费 观念 的 开始 ， 也 是 一 对 夫妻 生活 的 分 水 岭 。 他 们 会 开 
始 光 顾 以 前 不 会 去 的 商店 ， 渐 渐 对 新 的 品牌 建立 忠诚 。 塔 吉 特 公司 的 市 
场 专员 们 癌 分 析 部 求助 ， 看 是 否 有 什么 办 法 能 够 通过 一 个 人 的 购物 方式 
发 现 她 是 否 怀孕 。 


公司 的 分 析 团 队 首 先 查 看 了 签署 译 儿 礼物 登记 敌 的 女性 的 消费 记 
录 。 塔 吉 特 公司 注意 到 ， 登 记 秒 上 的 妇女 会 在 怀孕 大 概 第 三 个 月 的 时 候 
买 很 多 无 香 乳液 。 几 个 月 之 后 ， 她 们 会 买 一 些 营养 品 ， 比 如 镁 、 箱 、 
锌 。 公 司 最 终 找 出 了 大 概 20 多 种 关联 物 ， 这 些 关 联 物 可 以 给 顾客 进 
行 “ 怀 孕 趋 势 * 评 分 。 这 些 相 关 关 系 甚至 使 得 零售 商 能 够 比较 准确 地 预测 
预产期 ， 这 样 就 能 够 在 孕期 的 每 个 阶段 给 客户 寄 送 相应 的 优惠 券 ， 这 才 
古 塔 吉 特 公司 的 目的 。 


杜 西 格 在 《习惯 的 力量 》 (The Power of Habit) 一 书 中 讲 到 了 接 下 
来 发 生 的 事情 。 一 天 ， 一 个 男人 冲 进 了 一 家 位 于 明 尼 阿 波 利 斯 市 部 的 塔 
吉 特 隘 店 ， 要 求 经理 出 来 见 他 。 他 气愤 地 说 ;:“ 我 女儿 还 是 高 中 生 ， 你 
们 却 给 她 邮寄 婴儿 服 和 婴儿 床 的 优惠 券 ， 你 们 是 在 鼓励 她 怀孕 吗 ? ”而 
当 几 天 后 ， 经 理 打 电话 回 这 个 男人 致歉 时 ， 这 个 男人 的 语气 变 得 平和 起 
来 。 他 说 : “我 跟 我 的 女儿 谈 过 了 ， 她 的 预产期 是 8 月 份 ， 是 我 完全 没有 
意识 到 这 个 事情 的 发 生 ， 应 该 说 抱歉 的 人 是 我 。” 


在 社会 环境 下 寻找 关联 物 只 是 大 数据 分 析 法 采取 的 一 种 方式 。 同 样 
有 用 的 一 种 方法 是 ， 通 过 找 出 新 种 类 数据 之 间 的 相互 联系 来 解决 日 党 
再 要 。 比 方 说 ， 一 种 称 为 预测 分 析 法 的 方法 就 被 广泛 地 应 用 于 商业 领 
域 ， 它 可 以 预测 事件 的 发 生 。 这 可 以 指 一 个 能 发 现 可 能 的 流行 歌曲 的 算 
法 系统 一 一 音乐 界 广 泛 采 用 这 种 方法 来 确保 它们 看 好 的 歌曲 真 的 会 流 
ÍT; 也 可 以 指 那些 用 来 防止 机 器 失效 和 建筑 倒塌 的 方法 。 现 在 ， 在 机 
器 、 发 动机 和 桥梁 等 基础 设施 上 放置 传感器 变 得 越 来 越 平常 了 ， 这 些 传 
感 器 被 用 来 记录 散发 的 热量 、 振 幅 、 承 压 和 发 出 的 声音 等 。 

































































一 个 东西 要 出 故障 ， 不 会 是 瞬间 的 ， 而 是 慢 慢 地 出 问题 的 。 通 过 收 
集 所 有 的 数据 ， 我 们 可 以 预先 捕捉 到 事物 要 出 故障 的 信号 ， 比 方 说 改动 
机 的 喻 喻 声 、 引 擎 过 热 都 说 明 它 们 可 能 要 出 故障 了 。 系 统 把 这 些 腊 常情 
况 与 正常 情况 进行 对 比 ， 就 会 知道 什么 地 方 出 了 和 毛病。 通过 尽早 地 发 现 
异常 ， 系 统 可 以 提醒 我 们 在 故 隐 之 前 更 换 零 件 或 者 修复 问题 。 通 过 找 出 
一 个 天 联 物 并 监控 它 ， 我 们 就 能 预测 未 来 。 


大 数据 先锋 
UPS 与 汽车 修理 预测 


UPS 国 际 快递 公司 从 2000 年 就 开始 使 用 预测 性 分 析 来 监测 自己 全 美 
60000 辆 车 规模 的 车 队 ， 这 样 就 能 及 时 地 进行 防御 性 的 修理 。 如 果 和 车 在 
路 上 抛锚 损失 会 非常 大 ， 因 为 那样 就 需要 再 派 一 辆 车 ， 会 造成 延误 和 再 
装载 的 负担 ， 并 消耗 大 量 的 人 力 物 力 ， 所 以 以 前 UPS 每 两 三 年 就 会 对 车 
辆 的 零件 进行 定时 更 换 。 但 这 种 方法 不 太 有 效 ， 因 为 有 的 零件 并 没有 什 
么 毛病 就 被 换 掉 了 。 通 过 监测 车 辆 的 各 个 部 位 ，UPS 如 今 只 需要 更 换 需 
要 更 换 的 零件 ， 从 而 节省 了 好 几 百 万 美元 。 有 一 次 ， 监 测 系 统 甚至 帮助 
人 ne 

































































无 独 有 侦 ， 桥 梁 和 建筑 物 上 也 被 安 浪 了 传 感 融 来 监测 磨损 程度 。 大 
型 化 工厂 和 提炼 三 也 安 六 了 传感器 ， 因 为 一 旦 设备 的 茶 一 个 零件 有 问 
题 ， 就 只 有 在 更 换 了 零件 之 后 生产 才能 继续 进行 。 收 集 和 分 析 数 据 的 花 
费 比 出 现 俘 产 的 损失 小 得 多 。 预 测 性 分 析 并 不 能 解释 故障 可 能 会 发 生 
的 原因 ， 只 会 告诉 你 存在 什么 问题 ， 也 就 说 它 并 不 能 告诉 你 引擎 过 热 是 
ANIA. EMRA? 没 拧紧 的 螺 帽 ? 没有 答案 。 


同样 的 方法 也 可 以 运用 在 人 号 上 。 医 院 使 用 医疗 设备 在 病人 号 上 装 
上 各 种 管线 同时 得 到 大 量 的 数据 。 心 电 图 每 秒 钟 就 能 产生 1000 个 读数 。 
但 是 只 有 部 分 的 数据 是 被 保存 使 用 的 ， 大 部 分 都 束 之 蜗 阅 了 ， 即 使 这 些 
数据 都 能 在 一 定 程度 上 表现 出 病人 的 情况 。 当 与 其 他 病人 的 数据 一 起 考 
碟 的 时 候 ， 它 们 就 能 显现 出 哪些 治疗 方法 是 有 效 的 。 


当 收 集 、 存 储 和 分 析 数 据 的 成 本 比较 遍 的 时 候 ， 应 该 适当 地 丢弃 
一 些 数据 。 安 大 略 理工 大 学 的 卡 罗 琳 . 麦 格雷 戈 (Carolyn McGregor) 博 
士 和 一 文 研究 队伍 与 BM 一 起 和 很 多 医院 合作 ， 用 一 个 软件 来 监测 处 理 
即时 的 病人 信息 ， 然 后 把 它 用 于 早产 儿 的 病情 诊断 。 系 统 会 监控 16 个 不 











TA ae, EUG, PRI I. I Ae, EE a 
以 达到 每 秒 钟 1260 个 数据 点 之 多 。 


在 明显 感染 症状 出 现 的 24 小 时 之 前 ， 系 统 就 能 监测 到 早产 儿 细 微 的 
喘 体 变化 及 出 的 感染 信号 。 码 格雷 戈 博士 次 :“ 你 无 法 用 肉眼 看 到 ， 但 
计算 机 可 以 看 到 。” 这 个 系统 依赖 的 是 相关 关系 ， 而 不 是 因果 关系 。 它 
告诉 你 的 是 会 发 生 什 么 ， 而 不 是 为 什么 发 生 。 这 正 是 这 个 系统 的 价 
值 ! 提早 知道 病情 ， 医 生 就 能 够 提早 治疗 ， 也 能 更 早 地 知道 菜 种 疗法 是 
人 否 有 效 ， 这 一 切 都 有 利于 病人 的 康复 。 所 以 ， 未 来 这 个 系统 估计 会 应 用 
到 所 有 病人 喘 上 。 这 个 系统 可 能 不 会 目 己 做 决定 ， 但 是 它 已 经 做 到 了 机 
器 能 做 到 的 最 好 ， 那 就 是 帮助 人 类 做 到 最 好 。 


惊人 的 是 ， 雪 格雷 戈 博 士 的 大 数据 分 析 法 能 发 现 一 些 与 医生 的 传统 
看 法 相 违 背 的 相关 关系 。 比 如 说 她 发 现 ， 稳 定 的 生命 体征 表明 病人 发 生 
了 严重 的 感染 。 这 很 奇怪 ， 因 为 医生 一 般 认 为 恶化 的 疼痛 才 是 全 面 感染 
的 征兆 。 你 可 以 想 索 ， 以 前 医生 都 是 下 班 的 时 候 看 看 慨 儿 床 劳 边 的 记录 
本 ， 觉 得 病情 稳定 了 ， 也 就 下 班 回 家 了。 只 有 半夜 护士 的 紧急 电话 才 让 
他 们 知道 大 事 不 好 了 ， 他 们 的 直觉 犯 了 大 错误 。 数 据 表明 ， 早 产儿 的 稳 
定 不 但 不 是 病情 好 转 的 标志 ， 反 而 是 暴风 雨 前 的 宁静 ， 就 像 是 身体 要 
它 的 属 官 做 好 抵抗 困难 的 准备 。 但 是 我 们 也 不 太 确 定 ， 我 们 不 知道 共 
体 原 因 ， 只 是 看 到 了 相关 关系 。 这 需要 海量 的 数据 并 且 找 出 隐 含 的 相关 
性 才能 发 现 。 但 是 ， 大 数据 挽救 了 很 多 生命 ， 这 和 古 坚 无 疑问 的 。 


“是 什么 ”， 而 不 是 “为 什么 ” 


在 小 数据 时 代 ， 相 关 关 系 分 机 和 因果 分 析 都 不 容易 ， 都 耗费 巨大 ， 
都 要 从 建立 假设 开始 。 然 后 我 们 会 进行 实验 一 一 这 个 假设 要 么 被 证 实 要 
么 被 推翻 。 但 由 于 两 者 都 始 于 假设 ， 这 些 分 析 就 邵 有 受 偏见 影响 的 可 
能 ， 而 且 极 易 导致 错误 。 与 此 同时 ， 用 来 做 相关 关系 分 析 的 数据 很 难得 
到 ， 收 集 这 些 数据 时 也 耗资 巨大 。 现 今 ， 可 用 的 数据 如 此 之 多 ， 也 就 不 
存在 这 些 难题 了 。 


当然 ， 还 有 一 种 不 同 的 情况 也 逐渐 受到 了 人 们 的 重视 。 在 小 数据 时 
代 ， 由 于 计算 机 能 力 的 不 足 ， 大 部 分 相关 关系 分 析 仅 限于 寻求 线性 关 
系 。 这 个 情况 随 看 数据 的 增加 肯定 会 友 生 改变 。 事实 上 ， 实 际 情况 远 比 
ge 0 E Geena et eee 






































大 数据 先锋 
幸福 的 非 线性 关系 


多 年 来 ， 经 济 学 家 和 政治 家 一 直 错 误 地 认为 收入 水 平和 泣 福 感 是 成 
正比 的 。 我 们 从 数据 图 表 上 可 以 看 到 ， 虽 然 统计 工具 呈现 的 是 一 种 线性 
关系 ， 但 事实 上 ， 它 们 之 间 存 在 一 种 更 复杂 的 动态 关系 : 对 于 收入 水 平 
在 1 万 美元 以 下 的 人 来 说 ， 一 旦 收入 增加 ， 笠 福 感 会 随 之 提升 ;但 对 于 
收入 水 平 在 1 万 美元 以 上 的 人 来 说 ， 羊 福 感 并 不 会 随 着 收入 水 平 提高 
提升 。 如 果 能 发 现 这 层 关 系 ， 我 们 看 到 的 就 应 该 是 一 条 曲线 ， 而 不 是 统 
计 工 具 分 析出 来 的 直线 。 


这 个 发 现 对 决策 者 来 说 非常 重要 。 如 果 只 看 到 线性 关系 的 话 ， 那 么 
政策 重心 应 完全 放 在 增加 收入 上 ， 因 为 这 样 才能 增加 全 民 的 笠 福 感 。 而 
一 旦 察觉 到 这 种 非 线性 关系 ， 策 略 的 重心 就 会 变 成 提高 低 收 入 人 和 群 的 收 
入 水 平 ， 因 为 这 样 明显 更 划算 。 


当 相 关 关 系 变 得 更 复杂 时 ， 一 切 就 更 混乱 了 。 比 如 ， 各 地 麻疹 疫 盏 
接种 率 的 差别 与 人 们 在 医疗 保健 上 的 花费 似乎 有 关联 。 但是， 最 近 哈 佛 
与 胀 省 理工 的 联合 研究 小 组 发 现 ， 这 种 关联 不 是 简单 的 线性 关系 ， 而 是 
一 个 复杂 的 曲线 图 。 和 预期 相同 的 是 ， 随 着 人 们 在 医疗 上 花费 的 增多 ， 
肪 疹 疫苗 接种 率 的 差别 会 变 小 ， 但 令 人 惊讶 的 是 ， 当 增加 到 一 定 程度 
时 ， 这 种 差别 又 会 变 大 。 友 现 这 种 关系 对 公共 卫生 官员 来 说 非常 重要 ， 
但 是 普通 的 线性 关系 分 析 师 是 无 法 捕捉 到 这 个 重要 信息 的 。 


如 今 ， 专 家 们 正在 研发 能 发 现 并 对 比分 析 非 线性 关系 的 必要 技术 工 
具 昌 。 一 系列 飞速 发 展 的 新 技术 和 新 软件 也 从 多 方面 提高 了 相关 关系 分 
析 工 具 发 现 非 因 果 关 系 的 能 力 ， 这 就 好 比 立 体 派 画家 同时 从 多 个 角度 来 
表现 女性 脸庞 的 手法 。 


网 络 分 析 行 业 的 出 现 就 是 一 个 最 明显 的 例子 。 多 亏 了 它 ， 让 描绘 、 
测量 、 计 算 各 节点 之 间 的 关系 变 成 了 可 能 ， 我 们 可 以 从 Facebook 上 认识 
更 多 的 朋友 ， 还 可 以 知道 法 许 上 的 一 些 判决 的 先例 ， 以 及 谁 给 谁 打 了 电 
话 。 总 之 ， 这 些 工 具 为 回答 非 因 果 关 系 及 经 验 性 的 问题 提供 了 新 的 途 
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在 大 数据 时 代 ， 这 些 新 的 分 析 工 具 和 思路 为 我 们 提供 了 一 系列 新 的 
视野 和 有 用 的 预测 ， 我 们 看 到 了 很 多 以 前 不 曾 注 意 到 的 联系 ， 还 掌握 了 








以 前 无 法 理解 的 复杂 技术 和 社会 动态 。 但 最 重要 的 是 ， 通 过 去 探求 “是 
什么 ”而 不 是 “为 什么 ?”， 相 关 关 系 帮助 我 们 更 好 地 了 解 了 这 个 世界 。 


这 上 听 起 来 似乎 有 点 违背 常理 。 毕 竟 ， 人 们 都 希望 通过 因果 关系 来 了 
解 这 个 世界 。 我 们 也 相信 ， 只 要 仔细 观察 ， 就 会 发 现 万 事 万 物 几 有 因 
缘 。 了 解 事情 的 起 因 难道 不 是 我 们 最 大 的 愿望 吗 ? 


在 哲学 界 ， 关 于 因 末 关系 是 否 存 在 的 争论 已 经 持续 了 几 个 世纪 。 毕 
竞 ， 如 果 凡 事 引 有 因果 的 话 ， 那 么 我 们 就 没有 决定 任何 事 的 自由 了 。 如 
果 说 我 们 做 的 每 一 个 决定 或 者 每 一 个 想法 都 是 其 他 事情 的 结果 ， 而 这 个 
结果 叉 是 由 其 他 原因 导致 的 ， 以 此 循环 往复 ， 那 么 就 不 存在 人 的 自由 意 
志 这 一 说 了 一 一 所 有 的 生命 轨迹 都 只 是 受 因果 关系 的 控制 了 。 因 此， 对 
于 因果 关系 在 世间 所 扮演 的 角色 ， 哲 学 家 们 争论 不 休 ， 有 时 他 们 认为 ， 
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当 我 们 说 人 类 是 通过 因果 关系 了 解 世界 时 ， 我 们 指 的 是 我 们 在 理解 
和 解释 世界 各 种 现象 时 使 用 的 两 种 基本 方法 : 一 种 是 通过 快速 、 虚 约 的 
因果 关系 ， 还 有 一 种 就 是 通过 缓慢 、 有 条 不 率 的 因果 关系 。 大 数据 会 改 
变 这 两 种 基本 方法 在 我 们 认识 世界 时 所 扮演 的 角色 。 


Bt, SUN ARE le SAAR AA. BNC ARIA EE, 
我 们 也 还 是 会 假定 其 存在 。 研 究 证 明 ， 这 只 是 我 们 的 认 知 方式 ， 与 每 个 
人 的 文化 背景 、 生 长 环境 以 及 教育 水 平 是 无 关 的 。 当 我 们 看 到 两 件 事 情 
接连 发 生 的 时 候 ， 我 们 会 习惯 性 地 从 因果 关系 的 角度 来 看 待 它们。 看 看 
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我 们 读 到 这 里 时 ， 可 能 立马 就 会 想到 弗 雷 德 生 气 并 不 是 因为 供应 商 
快 到 了 ， 而 是 他 父母 迟到 了 的 缘故 。 实 际 上 ， 我 们 也 不 知道 到 底 是 什么 
情况 。 即 便 如 此 ， 我 们 还 是 不 蔡 认 为 这 些 假设 的 因果 关系 是 成 立 的。 


普林斯顿 大 学 心理 学 专家 ， 同 时 也 是 2002 年 话 贝 尔 经 济 学 奖 得 主 丹 
JER FES (Daniel Kahneman) 就 是 用 这 个 例子 证 明了 人 有 两 种 思维 
模式 。 第 一 种 是 不 费力 的 快速 思维 ， 通 过 这 种 思维 方式 几 秒 钟 束 能 得 
出 结果 ; 另 一 种 是 比较 费力 的 慢性 思维 ， 对 于 特定 的 问题 ， 就 是 需要 


考虑 到 位 。 


快速 思维 模式 使 人 们 偶 癌 用 因果 联系 来 看 符 周 围 的 一 切 ， 即 使 这 种 
关系 并 不 存在 。 这 是 我 们 对 已 有 的 知识 和 信仰 的 执著 。 在 古代 ， 这 种 快 
速 思维 模式 是 很 有 用 的 ， 它 能 帮助 我 们 在 信息 量 缺 乏 却 必须 快速 做 出 决 
定 的 危险 情况 下 化 险 为 更 。 但 是 ， 通 常 这 种 因果 关系 都 是 并 不 存在 的 。 


卡 尼 曼 指出 ， 平 时 生活 中 ， 由 于 惰性 ， 我 们 很 少 慢 条 斯 理 地 思考 问 
题 。 所 以 快速 思维 模式 就 占据 了 上 风 。 因 此 ， 我 们 会 经 常 脐 想 出 一 些 因 
果 天 系 ， 最 终 导 致 了 对 世界 的 错误 理解 。 


父母 经 党 告诉 孩子 ， 天 冷 时 不 戴 帽 子 和 手套 就 会 感冒 。 然 而 ， 事 实 
上 ， 感 冒 和 罕 戴 之 间 却 没有 直接 的 联系 。 有 时 ， 我 们 在 东 个 餐馆 用 和 餐 后 
生病 了 的 话 ， 我 们 就 会 目 然而 然 地 觉得 这 是 餐馆 食物 的 问题 ， 以 后 可 能 
就 不 再 去 这 家 餐馆 了 。 事 实 上 ， 我 们 肚子 痛 也 许 是 因为 其 他 的 传染 途 
径 ， 比 如 和 患者 握 过 手 之 类 的 。 然 而 ， 我 们 的 快速 思维 模式 使 我 们 直接 
将 其 归于 任何 我 们 能 在 第 一 时 间 想 起 来 的 因果 关系 ， 因 此 ， 这 经 常 导致 
我 们 做 出 错误 的 决定 。 


与 常识 相反 ， 经 常 凭借 直 觉 而 来 的 因果 关系 并 没有 帮助 我 们 加 深 对 
这 个 世界 的 理解 。 很 多 时 候 ， 这 种 认 知 捷径 只 是 给 了 我 们 一 种 自己 已 经 
理解 的 错觉 ， 但 实际 上 ， 我 们 因此 完全 陷入 了 理解 误区 之 中 。 就 像 采样 
是 我 们 无 法 处 理 全 部 数据 时 的 捷径 一 样 ， 这 种 找 因果 关系 的 方法 也 是 我 
们 大 脑 用 来 避免 辛苦 思考 的 捷径 。 


在 小 数据 时 代 ， 很 难 证 明 由 直觉 而 来 的 因果 联系 是 错误 的 。 现 在 ， 
情况 不 一 样 了 。 将 来 ， 大 数据 之 间 的 相关 关系 ， 将 经 常会 用 来 证 明 直 觉 
的 因果 联系 是 错误 的 。 最 终 也 能 表明 ， 统 计 关 系 也 不 强 含 多 少 真实 的 因 
果 关 系 。 忌 之 ， 我 们 的 快速 思维 模式 将 会 遭受 各 种 各 样 的 现实 考验 。 


令 人 欣喜 的 是 ， 为 了 更 好 地 了 解 世界 ， 我 们 会 因此 更 加 努力 地 四 
考 。 但 是 ， 即 使 是 我 们 用 来 发 现 因 末 关系 的 第 二 种 思维 方式 一 一 慢性 思 
维 ， 也 将 因为 大 数据 之 间 的 相关 关系 迎 来 大 的 改变 。 


日 党 生活 中 ， 我 们 习惯 性 地 用 因果 关系 来 考虑 事情 ， 所 以 会 认为 ， 
因果 联系 是 浅显 易 寻 的 。 但 事实 却 并 非 如 此 。 与 相关 关系 不 一 样 ， 即 使 
用 数学 这 种 比较 直接 的 方式 ， 因 有 果 联 系 也 很 难 被 轻易 证 明 。 我 们 也 不 能 
用 标准 的 等 式 将 因果 关系 表达 清楚 。 因 此 ， 即 使 我 们 慢 慢 思考 ， 想 要 发 












































现 因果 关系 也 是 很 困难 的 。 因 为 我 们 已 经 习惯 了 信息 的 匮乏 ， 故 此 亦 习 
惯 了 在 少量 数据 的 基础 上 进行 推理 思考 ， 即 使 大 部 分 时 候 很 多 因素 都 会 
削弱 特定 的 因 宋 关系。 


就 拿 狂犬 疫苗 这 个 例子 来 说 ，1885 年 7 月 6 日 ， 法 国 化 学 家 路 易 : 巴 
i (Louis Pasteur) 接 诊 了 一 个 9 岁 的 小 孩 约瑟夫 : 梅 斯 特 〈(Joseph 
Meister) ， 他 被 带 有 狂犬 病毒 的 狗 咬 了 。 那 时 ， 巴 斯 德 刚 刚 研发 出 狂犬 
疫苗 ， 也 实验 验证 过 效果 了 。 梅 斯 特 的 父母 承 屋 求 巴 斯 德 给 他 们 的 儿子 
注射 一 针 。 巴 斯 德 做 了 ， 梅 斯 特 活 了 下 来 。 发 布 会 上 ， 巴 斯 德 因 为 把 一 

个 小 男孩 从 死神 手中 救出 而 大 受 佛 奖 。 


ea E 一 般 来 说 ， 人 被 狂犬 病 狗 咬 后 患 上 
狂犬 病 的 概率 只 有 了 七 分 之 一 。 即 使 巴 斯 德 的 疫苗 有 效 ， 这 也 只 适用 于 七 
分 之 一 的 案例 中 。 无 ? ‘om 就 算 没 有 狂犬 疫苗 ， 这 个 小 男孩 活 下 来 的 
ERIE 不 是 有 85%。 


在 这 个 例子 中 ， 大 家 部 认为 是 注 轴 疫苗 救 了 梅 斯 特 一 命 。 但 这 里 却 
APANHAR KEINE. BSI HU RHR S NARAK 

FP ih ce BCs A AEN IA BE HY ig BT BEI ZA RR AR BNE 
说 疫苗 能 够 医 好 狂犬 病 ， 第 二 个 因果 关系 也 只 适用 于 极 少数 情况 。 


不 过 ， 科学 家 已 经 更 服 了 用 实验 来 证 明 因 采 天 条 的 难题 。 实验 是 通 
过 是 否 有 族 因 这 两 种 情况 ， 分 别 来 观察 所 产生 的 结果 古 不 是 和 真实 情况 
相符 ， 如 果 相 符 就 说 明确 实 存在 因果 关系 。 这 个 衡量 假说 的 验证 情况 控 
制 得 越 严 格 ， 你 就 会 发 现 因 果 头 系 越 有 可 能 是 真实 存在 的 。 


因此 ， 与 相关 关系 一 样 ， 因 果 关 系 被 完全 证 实 的 可 能 性 几乎 是 没有 
的 ， 我 们 只 能 说 ， 某 两 者 之 间 很 有 可 能 存在 因果 关系 。 但 两 者 之 间 义 有 
不 同 ， 证 明 因果 关系 的 实验 要 么 不 切实 际 ， 要 么 违背 社会 伦理 道德 。 比 
方 说 ， 我 们 怎么 从 5 亿 词 条 中 找 出 和 流感 传播 最 相关 的 呢 ? 我 们 难道 真 
能 为 了 找 出 被 咬 和 患 病 之 间 的 因果 关系 而 置 成 百 上 干 的 病人 的 生命 于 不 
顾 吗 ? 因为 实验 会 要 求 把 部 分 病人 当成 未 被 咬 的 “控制 组 ”成 员 来 对 行 
但 是 束 算 给 这 些 病 人 打 了 疫苗 ， 我 们 叉 能 保证 万 无 一 失 吗 ?而且 就 算 这 
些 实验 可 以 操作 ， 操 作成 本 也 非常 的 昂贵。 

不 像 因果 关系 ， 证 明 相 关头 系 的 实验 耗资 少 ， 费 时 也 少 。 与 之 相 


比 ， 分 析 相 关 关 系 ， 我 们 既 有 效 学 方法 ， 也 有 统计 学 方法 ， 同 时 ， 数 字 
工具 也 能 帮 有 我 们 准确 地 找 出 相关 关系 。 












































相关 关系 分 析 本 身 意 义 重大 ， 同 时 它 也 为 研究 因果 关系 商定 了 基 
础 。 通 过 找 出 可 能 相关 的 事物 ， 我 们 可 以 在 此 基础 上 进行 进一步 的 因 采 
关系 分 析 ， 如 果 存 在 因果 关系 的 话 ， 我 们 再 进一步 找 出 原因 。 这 种 便捷 
的 机 制 通 过 严格 的 实验 降低 了 因 末 分 析 的 成 本 。 我 们 也 可 以 从 相互 联系 
中 找到 一 些 重要 的 变量 ， 这 些 变 量 可 以 用 到 验证 因果 关系 的 实验 中 去 。 


可 是 ， 我 们 必须 非 第 认真 。 相 关 关 系 很 有 用 ， 不 仅仅 是 因为 它 能 
为 我 们 提供 新 的 视角 ， 而 且 提 供 的 视角 都 很 清晰 。 而 我 们 一 旦 把 因 末 
KREIK, XEN ANA H REA a MT o 


例如 ，Kaggle， 一 家 为 所 有 人 提供 数据 挖掘 竞赛 平台 的 公司 ， 举 办 
了 关于 二 手 车 的 质量 竞赛 。 二 手 车 经 销 商 将 二 手 车 数据 提供 给 参加 比赛 
的 统计 学 家 ， 统 计 学 家 们 用 这 些 数据 建立 一 个 算法 系统 来 预测 经 销 商 拍 
卖 的 哪些 车 有 可 能 出 现 质量 问题 。 相 关 关系 分 析 表 明 ， 橙 色 的 车 有 质量 
问题 的 可 能 性 只 有 其 他 车 的 一 半 。 


当 我 们 读 到 这 里 的 时 候 ， 不 茶 也 会 思考 其 中 的 原因 。 难 道 是 因为 橙 
色 车 的 车 主 更 爱 车 ， 所 以 车 被 保护 得 更 好 吗 ? 或 是 这 种 颜色 的 车 子 在 制 
造 方面 更 精良 些 吗 ? 还 是 因为 橙色 的 车 更 显眼 、 出 车 祸 的 概率 更 小 ， 所 
以 转手 的 时 候 ， 各 方面 的 性 能 保持 得 更 好 ? 


马上 ， 我 们 就 陷入 了 各 种 各 样 恋 一 样 的 假设 中 。 夺 要 找 出 相关 关 
系 ， 我 们 可 以 用 数学 方法 ， 但 如 果 是 因果 关系 的 话 ， 这 却 古 行 不 通 的 。 
所 以 ， 我 们 没 必 要 一 定 要 找 出 相关 关系 背后 的 原因 ， 妆 我 们 知道 了 “是 
什么 ”的 时 候 ,“ 为 什么 ?其 实 没 那么 重要 了 ， 人 否则 就 会 催生 一 些 滑 稿 的 
想法 。 比 方 说 上 面 提 到 的 例子 里 ， 我 们 是 不 是 应 该 建议 车 主 把 车 潜 成 橙 
Ge? 毕竟 ， 这 样 就 说 明 车 子 的 质量 更 过 硬 啊 ! 


考 谍 到 这 些 ， 如 果 把 以 确 辫 数 据 为 基础 的 相关 关系 和 通过 快速 思维 
构想 出 的 因果 关系 相 比 的 话 ， 前 者 束 更 具有 说 服 力 。 但 在 越 来 越 多 的 情 
况 下 ， 快 速 清晰 的 相关 关系 分 析 甚 至 比 慢 速 的 因果 分 析 更 有 用 和 更 有 
效 。 慢 速 的 因果 分 析 集 中 体现 为 通过 严格 控制 的 实验 来 验证 的 因果 关 
系 ， 而 这 必然 是 非常 耗 时 耗 力 的 。 


近年 来 ， 科 学 家 一 直 在 试图 减少 这 些 实验 的 花费 ， 比 如 说 ， 通 过 巧 
妙 地 结合 相似 的 调查 ， 做 成 “类 似 实验 ”。 这 样 一 来 ， 因 末 关 系 的 调 碍 成 
本 就 降低 了 ， 但 还 是 很 难 与 相关 关系 体现 的 优越 性 相 抗衡 。 还 有 ， 正 如 
我 们 之 前 提 到 的 ， 在 专家 进行 因果 关系 的 调查 时 ， 相 关 关 系 分 析 本 来 束 





















































会 起 到 帮助 的 作用 。 
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在 大 多 数 情况 下 ， 一 旦 我 们 完成 了 对 大 数据 的 相关 关系 分 析 ， 而 叉 
不 再 满足 于 仪 仅 知 道 “ 是 什么 * 时 ， 我 们 就 会 继续 向 更 深层 次 研究 因果 关 
A, REAREA”: 


因果 关系 还 是 有 用 的 ， 但 是 它 将 不 再 被 看 成 是 意义 来 源 的 基础 。 在 
大 数据 时 代 ， 即 使 很 多 情况 下 ， 我 们 依然 指望 用 因果 关系 来 说 明 我 们 所 
发 现 的 相互 联系 ， 但 是 ， 我 们 知道 因果 关系 只 是 一 种 特殊 的 相关 关系 。 
相反 ， 大 数据 推动 了 相关 关系 分 析 。 相 关 关 系 分 析 通 沼 情 况 下 能 取代 因 
朵 关系 起 作用 ， 即 使 不 可 取代 的 情况 下 ， 它 也 能 指导 因果 关系 起 作用 。 
曼哈顿 沙井 盖 〈 即 下 水 道 的 修 检 口 ) 的 爆炸 就 是 一 个 很 好 的 例子 。 


改变 ， 从 操作 方式 开始 


每 年 ， 因 沙井 瘟 凡 部 失火 ， 纽 约 每 年 有 很 多 沙井 兰 会 友 生 焊 炸 。 重 
达 300 磅 的 沙井 盖 在 和 受 然 塌 在 地 上 之 前 可 以 冲 出 几 层 楼 高 。 这 可 不 是 什 
么 好 事 。 


为 纽约 提供 电力 支持 的 联合 爱迪生 电力 公司 (Con Edison) 每 年 都 
会 对 沙井 新 进行 常规 检查 和 维修 。 过 去 ， 这 完全 看 运气 ， 如 果 工 作 人 员 
检查 到 的 正好 是 即将 爆炸 的 就 最 好 了 ， 因 为 沙井 盖 爆 炸 威力 可 不 小 。 
2007 年 ， 联 合 爱 迪生 电力 公司 同 哥 伦比 亚 大 学 的 统计 学 家 求助 ， 希 望 他 
们 通过 对 一 些 历史 数据 的 研究 ， 比 如 说 通过 研究 以 前 出 现 过 的 问题 、 基 
础 设施 之 间 的 联系 ， 进 而 预测 出 可 能 会 出 现 问 题 并 且 需 要 维修 的 沙井 
nt 





























这 是 一 个 复杂 的 大 数据 问题 。 光 在 纽约 ， 地 下 电 绕 就 有 15 万 公里 ， 
都 足够 环绕 地 球 三 周 半 了 。 而 曼哈顿 有 大 约 51000 个 沙井 盖 和 服务 设 
施 ， 其 中 很 多 设施 都 是 在 爱迪生 那个 时 代 建 成 的 ， 而 且 有 二 十 分 之 一 的 
电缆 在 1930 年 之 前 就 铺 好 了 。 尽 管 1880 以 来 的 数据 都 保存 着 ， 却 很 杂 
乱 ， 因 为 从 没 想 过 要 用 来 进行 数据 分 析 。 这 些 数 据 都 是 由 会 计 人 员 或 进 
行 整修 的 工作 人 员 记 录 下 来 的 ， 因 为 是 手记 ， 所 以 说 这 些 数据 杂乱 一 点 
也 不 为 过 。 比 如 说 ， 篆 见 的 “服务 设施 ”代码 就 有 38 个 之 多 ， 而 计算 机 算 
法 需要 处 理 的 就 是 这 么 混乱 的 数据 : SB, S, S/B, S.B, S?B, S.B., 








SBX, S/BX, SB/X, S/XB, /SBX, S.BX, S&BX, S?BX, S BX, 
S/B/X, S BOX, SVBX, SERV BX, SERV-BOX, SERV/BOX, 
SERVICE BOX...... 


负责 这 个 项 目的 统计 学 家 辛 西亚 鲁 丁 〈Cynthia Rudin) 回忆 道 : 


乍 看 这 些 数据 的 时 候 ， 我 们 从 未 想 过 能 从 这 些 未 经 处 理 的 数据 中 找 
出 想 要 的 信息 。 我 打印 了 一 个 关于 所 有 电线 的 表格 。 如 果 把 这 个 表格 郑 
起 来 的 话 ， 除 非 你 在 地 上 拖 ， 不 然 你 绝对 提 不 起 它 来 。 而 我 们 需要 处 理 
的 就 是 这 么 多 没有 处 理 过 的 数据 。 只 有 理解 了 这 些 数据 ， 才 能 从 中 淘 
金 ， 并 倾 已 所 有 创建 一 个 好 的 预测 模型 。 


鲁 丁 和 她 的 同事 必须 在 工作 中 使 用 所 有 的 数据 ， 而 不 能 是 样本 ， 因 | 
为 说 不 是， 这 成 干 上 万 个 沙井 盖 中 的 某 一 个 就 是 一 个 定时 炸弹 ， 所 以 只 
有 使 用 “样本 = 总 体 ” 的 方法 才 可 以 。 虽 然 找 出 因果 关系 也 是 不 错 的 ， 但 
征 这 可 能 需要 一 个 世纪 之 久 ， 而 且 还 不 一 定 找 得 对 。 要 完成 这 项 任务 ， 
比较 好 的 办 法 就 是 ， 找 出 它们 之 间 的 相关 关系 。 相 比 “ 为 什么 ”， 她 更 关 
心 “是 什么 ”。 但 是 她 也 知道 当面 对 联合 爱迪生 电力 公司 高 层 的 时 候 ， 她 
需要 证 明 选 择 方案 的 正确 性 。 预 测 可 能 是 由 机 器 完成 的 ， 但 古 消费 者 是 
人 类 ， 而 人 就 习惯 性 地 想 通 过 找 出 原因 来 理解 事物 。 


鲁 丁 希望 尽快 找到 整理 这 些 数据 的 便捷 方法 。 她 们 将 杂乱 的 数据 整 
理 好 给 机 器 处 理 ， 由 此 发 现 了 大 型 沙井 盖 爆 炸 的 106 种 预警 情况 。 在 布 
Base it (Bronx) 的 电网 测试 中 ， 他 们 对 2008 年 中 期 之 前 的 数据 都 进行 
了 分 析 ， 并 利用 这 些 数据 预测 了 2009 年 会 出 现 问 题 的 沙井 盖 。 预 测 效 果 
非常 好 ， 在 他 们 列 出 的 前 10% 的 高 危 沙 井盖 名 单 里 ， 有 44% 的 沙井 盖 都 
发 生 了 严重 的 事故 。 


最 终 ， 最 重要 的 因 系 是 这 些 电 统 的 使 用 年 限 和 有 没有 出 现 过 问题 。 
讽刺 的 是 ， 这 个 发 现 非常 有 意义 ， 因 为 联合 爱迪生 电力 公司 的 高 层 们 可 
以 在 此 基础 上 ， 迅 速 进行 沙井 瘟 事 故 可 能 性 排序 。 但 是 ， 这 些 因素 看 起 
来 会 不 会 太 过 明显 了 ? 


WE, Boe MAE. AANA, BRE BOE TARR (Duncan 
Watts) 说 的 , “一 旦 你 知道 了 结果 ， 一 切 都 很 容易 。” 但 是 另 一 方面 ， 
我 们 不 能 忘记 最 开始 的 时 候 我 们 可 是 找 出 了 106 种 预警 情况 。 如 何 权 衡 
以 及 优先 修理 成 干 上 万 个 沙井 新 中 的 哪 一 个 ， 这 不 是 那么 容易 做 出 决定 
的 ， 因 为 各 种 各 样 的 因素 加 入 到 了 这 个 庞大 的 数据 库 中 ， 而 且 这 些 数据 








































































































记录 的 方式 使 得 它 本 来 就 不 适合 处 理 分 析 。 
这 个 例子 说 明了 数据 正在 以 新 的 方式 帮助 我 们 解决 现实 生活 中 的 难 


大 数据 洞察 


我 们 需要 改变 我 们 的 操作 方式 ， 使 用 我 们 能 收集 到 的 所 有 数据 ， 而 
不 仅仅 是 使 用 样本 。 我 们 不 能 再 把 精确 性 当成 重心 ， 我 们 需要 接受 混乱 
和 错误 的 存在 。 另 外 ， 我 们 应 该 侧重 于 分 析 相关 关系 ， 而 不 再 寻求 每 个 
预测 背后 的 原因 。 


大 数据 ， 改 变 人 类 探索 世界 的 方法 


在 小 数据 时 代 ， 我 们 会 假想 世界 是 怎么 运作 的 ， 然 后 通过 收集 和 分 
析 数 据 来 验证 这 种 假想 。 在 不 久 的 将 来 ， 我 们 会 在 大 数据 的 指导 下 探索 
世界 ， 不 再 受 限 于 各 种 假想 。 我 们 的 研究 始 于 数据 ， 也 因为 数据 我 们 发 
现 了 以 前 不 曾 发 现 的 联系 。 


假想 通 当 来自 目 然 理论 或 社会 科学 ， 它 们 也 是 帮助 我 们 解释 和 预测 
周遭 世界 的 基础 。 随 独 由 假想 时 代 到 数据 时 代 的 过 法 ， 我 们 也 很 可 能 认 
为 我 们 不 再 需要 理论 了 。 


2008 年 ，《 连 线 》 林 志 主 编 元 里 斯 : 安 德 杰 (Chris Anderson) Wig 
出 : “数据 爆炸 使 得 科学 的 研究 方法 都 落伍 了 。?” 后 来 ， 他 又 在 《 拍 字 节 
时 代 》 (The Petabyte Age) 的 封面 故事 中 讲 到 ， 大 量 的 数据 从 某 种 程度 
上 意味 着 “理论 的 终结 ”"。 安 德 森 也 表示 ， 用 一 系列 的 因果 关系 来 验证 各 
种 猜想 的 传统 研究 范式 已 经 不 实用 了 ， 如 今 它 已 经 被 无 需 理 论 指导 的 纯 
粹 的 相关 关系 研究 所 取代 。 


为 了 文 撑 自己 的 观点 ， 安 德 森 曾 述 了 量子 物理 学 已 变 成 一 门 纯 理论 
学 科 的 原因 ， 就 是 因为 实验 复杂 、 耗 费 多 而 且 不 可 行 。 他 潜在 的 观点 束 
是 ， 量 子 物理 学 的 理论 已 经 脱离 实际 。s 他 提 到 了 谷歌 的 搜索 引擎 和 基 
因 排 序 工程 ， 指 出 : “现在 已 经 是 一 个 有 海量 数据 的 时 代 ， 应 用 数学 已 
经 取代 了 其 他 的 所 有 学 科 工 具 。 而 且 只 要 数据 足够 ， 就 能 说 明 问 题 。 如 
果 你 有 一 担 字 市 的 数据 ， 只 要 掌握 了 这 些 数据 之 间 的 相关 关系 ， 一 切 殊 
都 迎刃而解 了 。” 

























































































这 篇 文章 引发 了 激烈 的 争论 ， 昌 然 安 德 森 本 人 很 快 就 意识 到 目 己 的 
言 群 过 于 激烈 了 ， 但 是 他 的 观点 确实 值得 深思 。 安 德 森 的 核心 思想 是 ， 
直到 目前 为 止 ， 我 们 一 直 都 是 把 理论 应 用 到 实践 中 来 分 析 和 理解 世界 ， 
而 如 今 处 在 大 数据 时 代 ， 我 们 不 再 需要 理论 了 ， 只 要 关注 数据 就 足够 
了 。 这 就 意味 着 所 有 的 普 近 规则 都 不 重要 了 ， 比 方 说 世界 的 运作 、 人 类 
的 行为 、 顾 客 买 什么 、 东 西 什么 时 候 会 坏 等 。 如 今 ， 重 要 的 就 是 数据 分 
析 ， 它 可 以 揭示 一 切 问 题 。 


大 数据 洞察 


“理论 的 终结 似乎 暗示 着 ， 尽 管理 论 仍 存在 于 像 物理 、 化 学 这 样 的 
学 科 里 ， 但 大 数据 分 析 不 需要 成 形 的 概念 。 这 实在 荒 雇 。 


大 数据 是 在 理论 的 基础 上 形成 的 。 比 方 说， 大 数据 分 析 束 用 到 了 统 
计 和 数学 理论 ， 有 时候 也 会 用 到 计算 机 科学 理论 。 是 的 ， 这 不 是 关于 像 
地 心 引力 这 样 特定 现象 的 产生 原因 的 理论 ， 但 是 无 论 如 何 这 依然 是 理 
论 。 而 且 如 我 们 所 见 ， 建 立 在 这 些 理论 上 的 大 数据 分 析 模 式 是 实现 大 数 
据 预 测 能 力 的 重要 因素 。 事 实 上 ， 就 是 因为 不 受 限 于 传统 的 思维 模式 
Oe i one enone eee 
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首先 就 是 关于 我 们 怎么 收集 数据 。 我 们 会 不 会 仅仅 看 数据 收集 的 方 
便 程 度 来 决定 呢 ? 或 者 看 数据 收集 的 成 本 ?我们 做 这 些 决 定 的 时 候 就 被 
理论 所 影响 着 ， 而 就 如 达 纳 : 博 伊 德 (Danah Boyd) 和 凯特 : 克 劳 福 德 
(Kate Crawford) 说 的 ， 我 们 的 选择 一 定 程度 上 决定 了 结果 。 上 毕竟 ， 谷 
歌 是 用 检索 词 来 预测 流感 而 不 是 鞋 码 。 同 样 ， 我 们 在 分 析 数 据 的 时 候 ， 
也 依赖 于 理论 来 选择 我 们 使 用 的 工具 。 最 后 ， 我 们 解读 研究 结果 的 时 候 
同样 会 使 用 理论 。 大 数据 时 代 绝 对 不 是 一 个 理论 消亡 的 时 代 ， 相 反 地 ， 
理论 贯穿 于 大 数据 分 析 的 方方面面 。 


作为 第 一 提出 问题 的 人 ， 安 德 森 应 该 获得 掌声 尽管 他 的 答案 不 
BAR! 大 数据 绝 不 会 叫 器 “理论 已 死 ”， 但 它 训 无 疑问 会 从 根本 上 改变 
人 
临 挑战 。 


大 数据 时 代 将 要 释放 出 的 巨大 价值 使 得 我 们 选择 大 数据 的 理念 和 
方法 不 再 是 一 种 权衡 ， 而 是 通 往 未 来 的 必然 改变 。 但 是 在 我 们 到 达 目 
的 地 之 前 ， 我 们 有 必要 了 解 怎 样 才 能 到 达 。 高 科技 行业 里 的 很 多 人 人 认 



































































































































为 是 依靠 新 的 工具 ， 从 高 速 忆 片 到 高 效 软件 等 。 当 然 ， 这 可 以 理解 为 因 
为 他 们 自己 是 工具 创造 者 。 这 些 问 题 固 然 重 要 ,但 不 是 我 们 需要 考虑 的 
问题 。 大 数据 趋势 的 深层 原因 ， 束 是 海量 数据 的 存在 以 及 越 来 越 多 的 事 
物 是 以 数据 形式 存在 的 ， 这 也 是 我 们 下 一 半 要 谈论 的 内 容 。 














[1] 算法 思路 可 参考 林 登 2003 年 在 IEEE Internet Computing 上 发 表 的 
名 为 “Amazon.com recommendations: item-to-item collaborative 
filtering” 一 文 。 当 然 ， 如 同 谷歌 源 于 PageRank 而 现在 远 不 仪 是 
PageRank， 亚 马 还 目前 的 推荐 也 远 远 不 止 基 于 对 象 的 协同 过 滤 那 么 简 
单 。 举 例 而 言 ， 我 所 熟悉 的 百分点 通用 推荐 引擎 承包 含 了 数 十 种 常用 算 
法 ， 数 干 条 行业 规则 和 针对 用 户 意 图 的 场景 预测 模块 等 。 一 一 译 者 注 


[2] 严格 地 讲 ， 即 便 没 有 相关 性 ， 丸 一 个 数据 值 也 可 以 大 幅 变 化 ， 
只 是 没有 趋势 可 循 叶 了 。 一 一 译 者 注 


[3] 除了 利用 自 有 数据 外 ， 沃 尔 玛 实验 室 开 始 尝试 用 Facebook 好 友 
喜好 和 Twitter 流量 与 内 容 分 析 来 实现 智能 零售 。 下 载 一 个 Facebook 上 名 
为 shopycat 的 小 应 用 ， 就 能 收 到 沃尔玛 为 你 创建 的 礼品 清单 。 EA 
注 











[4] Teradata 的 前 身 是 著名 的 全 美 现金 出 纳 机 公司 。 一 一 作者 注 


[5] 2011 年 ，Reshef 等 人 在 《科学 》 上 发 表 了 题 为 “Detecting Novel 
Associations in Large Datasets” 一 文 ， 探 讨 了 度量 双 变 量 复杂 相关 行为 的 
新 方法 。 截 至 目前 ， 该 方法 还 不 能 处 理 多 变量 相关 。 一 一 译 者 注 

[6] 评价 自己 不 了 解 的 学 科 ， 一定 要 谦虚 谨慎 ， 最 好 是 不 要 做 这 样 
的 评价 。 其 实 ， 目 前 的 电子 产业 、 纳 米 加 工 以 及 大 部 分 先进 的 医疗 技术 
都 直接 来 源 于 量子 理论 。 一 一 译 者 注 








第 二 部 分 大 数据 时 代 的 商业 变 章 


04 数据 化 : 一 切 和 家 可 “量化 ?” 


大 数据 发 展 的 核心 动力 来 源 于 人 类 测量 、 记 录 和 分 析 世 界 的 光 望 。 
童 轧 技术 变革 随处 可 见 ， 但 是 如 今 的 信息 技术 变革 的 重点 在 “T”( 技 
Ñ) E, TOA EET? ÈR) 上。 现在， 我 们 是 时 候 把 聚 关 灯 打 
HP, Fane fa BATS 





【大 数据 先锋 】 
日 本 先进 工业 技术 研究 所 的 坐姿 研究 与 汽车 防盗 系统 
谷歌 的 数字 图 书包 


多 效 地 理 定 位 与 UPS 的 最 佳 行 车 路 径 




















Foursquare， 让 用 户 在 最 喜爱 的 地 方 “check in” 

用 手机 数据 预测 疾病 传播 和 城市 繁 采 

英国 对 冲 基金 公司 ， 用 微 博 数据 预测 股市 投资 时 机 

焉 眠 活动 数据 库 与 睡眠 模式 预测 

GPS 感应 器 ， 判 断 环境 因素 对 哮喘 病 的 影 啊 
英里 的 导航 图 ， 大 数据 的 最 早 实践 之 一 


马 修 : 方 丹 . 莫 里 (Matthew Fontaine Maury) 是 一 位 很 有 前 途 的 美国 
AZ. 1839F, EEREN EAR” (Consort) 接受 一 个 新 任 
务 时 ， 他 乘坐 的 马车 突然 滑 出 了 和 车道， 瞬间 倾倒 ， 把 他 抛 到 了 空中 。 他 
重重 地 摔 到 了 地 上 ， 大 腿 骨 粉碎 性 上 骨折， 膝盖 也 脱 折 了。 当地 的 医生 大 
他 复位 了 膝盖 关节 ， 但 大 腿 受 伤 过 重 ， 几 天 后 还 需要 重新 手术 。 直 到 33 
罗 ， 他 的 伤 才 基 本 痊愈 ， 但 是 受伤 的 腿 却 留 下 了 残疾 ， 变 得 有 点 儿 踊 ， 
再 也 无 法 在 海上 工作 。 经 过 近 三 年 的 休养 ， 美 国 海 军 把 他 安排 进 了 办 公 
室 ， 并 任命 他 为 图 表 和 仪器 三 的 负责 人 。 
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谁 也 想不到 ， 这 里 竟 成 了 他 的 福地 。 作 为 一 位 年 轻 的 航海 家 ， 莫 里 
曾经 对 船只 在 水 上 绕 弯 儿 不 走 直 线 而 感到 十 分 不 解 。 当 他 癌 船 长 们 间 及 
这 个 问题 时 ， 他 们 回答 说 ， 走 下 悉 的 路 线 比 冒险 走 一 条 不 熟悉 而 且 可 能 
充满 危险 的 路 线 要 好 得 多 。 他 们 认为 ， 海 洋 是 一 个 不 可 预知 的 世界 ， 人 
随时 都 可 能 锐意 想不到 的 风浪 困 住 。 


但 是 从 他 的 航行 经 验 来 看 ， 丙 里 知道 这 并 不 完全 正确 。 他 经 历 过 各 
种 各 样 的 风暴 。 一 次 ， 他 听 到 来 目 知 利 瓦 尔 则 莱 索 扩展 港口 的 预警 ， 杀 
眼目 睹 了 当时 刮 成 圆 形 的 风 束 像 钟 表 一 样 ， 但 在 下 午 晚 些 或 日 落 的 时 
修 ， 大 风 突然 结束 ， 廊 下 米 变 成 一 阵 人 微风 ， 念 佛 有 人 着 风 的 开关 一 
样 。 在 另 一 次 远航 中 ， 他 穿 过 墨西哥 赣 色 海域 的 暖流 ， 感 觉 就 像 在 大 西 
人 又 好 像 在 密西西比 河 静 止 不 动 的 河面 上 插 














当 英 里 还 是 一 个 海军 军官 学 校 的 学 生 时 ， 他 每 次 到 达 一 个 新 的 港 
口 ， 忆 会 癌 老 船长 学 习 经 验 知 识 ， 这 些 经 验 知 识 是 代 代 相传 下 来 的 。 他 
从 这 些 老 船长 那里 学 到 了 潮汐 、 风 和 洋流 的 知识 ， 这 些 都 是 在 军队 发 的 
书籍 和 地 图 中 无 法 学 到 的 。 相 反 ， 海 军 依赖 于 陈旧 的 图 表 ， 有 的 都 使 用 
了 上 百年 ， 其 中 的 大 部 分 还 有 很 重大 的 遗漏 和 离谱 的 错误 。 在 他 新 上 任 
为 图 表 和 仪器 三 负责 人 时 ， 他 的 目标 就 是 解决 这 些 问 题 。 


他 清点 了 库房 里 的 气压 计 、 指 南 针 、 六 分 仪 和 天 文 钟 。 他 及 现 ， 库 
房 里 存放 着 许多 航海 书籍 、 地 图 和 图 表 ; DARWISH HERRER 
箱 ， 这 些 都 是 以 前 的 海军 上 尉 写 的 航海 日 志 。 刚 开始 的 时 候 ， 他 觉得 这 
些 都 是 垃圾 ， 但 当 他 拍 掉 被 海水 浸泡 过 的 书籍 上 的 灰 生 ， 凝 视 看 里 面 的 
内 容 时 ， 英 里 突然 变 得 非 第 激动 。 


这 里 有 他 所 需要 的 信息 ， 例 如 对 特定 日 期 、 特 定 地 点 的 风 、 水 和 天 
气 情况 的 记录 。 大 部 分 信息 都 非常 有 价值 。 英 里 意识 到 ， 如 来 把 它们 整 
理 到 一 起 ， 将 有 可 能 呈现 出 一 张 全 新 的 航海 图 。 这 些 日 志 是 无 章 可 循 
的 ; 页 面 边 上 尺 是 奇怪 的 打油诗 和 乱七八糟 的 信 手 涂鸦 ， 与 其 说 它们 是 
对 航海 行程 的 记录 ， 还 不 如 说 它们 是 船员 在 航海 途中 无 聊 的 娱乐 而 已 。 
尽管 如 此 ， 仍 然 可 以 从 中 提取 出 有 用 的 数据 。 英 里 和 他 的 20 台 “计算 
机 ”一 一 那些 进行 数据 处 理 的 人 ， 一 起 把 这 些 破损 的 航海 日 志 里 记录 的 
信息 绘制 成 了 表格 ， 这 是 一 项 非常 繁重 的 工作 。 


整合 了 数据 之 后 ， 把 整个 大 西洋 按 经 纬度 划分 成 了 五 块 ， 并 按 
PRETAN 风速 和 风 问 ， 因 为 根据 时 间 的 不 同 这 些 数据 也 有 所 不 
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海路 线 。 


有 经 验 的 海员 有 时 依靠 经 验 能 安全 航海 ， 但 有 时 也 会 陷入 危险 之 
中 。 在 从 纽约 到 里 约 热 内 卢 这 条 繁忙 的 航线 上 ， 水 手 们 往往 倾向 于 与 自 
然 斗 争 而 不 是 顺应 自然 。 美 国 船长 一 直 被 劝导 前 往 里 约 热 内 卢 不 能 通过 
海峡 ， 因 为 那样 存在 很 大 风险 ， 所 以 船长 会 选择 在 东南 方向 的 航线 上 航 
行 ， 再 穿 过 赤道 驶 向 西南 方向 。 而 这 样 一 来 ， 航 行 的 距离 就 相当 于 穿越 
大 西洋 两 次 。 这 是 很 荒 廖 的 ， 其 实 直 接 沿 着 海峡 向 南航 行 就 可 以 了 。 


为 了 提高 精确 度 ， 砚 里 需要 更 多 的 信息 ， 因 此 他 创建 了 一 个 标准 的 
表格 来 记录 航海 数据 ， 并 且 要 求 美 国 所 有 的 海 车 舰艇 在 海上 使 用 ， 返 航 
后 再 提交 表格 。 商 船 也 拼命 地 想得到 他 的 图 表 ， 英 里 就 要 求 以 他 们 的 航 
海 日 志 作 为 回报 (病毒 型 社交 网 络 的 早期 版 本 ) 。 他 宣称 : “每 体 航 行 
在 公海 上 的 船 船 从 此 以 后 都 可 以 被 视 为 一 个 浮动 的 天 文人 台 ， 一 个 科学 的 
殿堂 。” 为 了 改进 和 完善 图 表 ， 他 需要 寻求 更 多 的 数据 (正如 谷歌 利用 
网 页 排名 来 获得 更 多 的 数据 ) 。 砚 里 让 船长 定期 癌 海 里 扔 掷 标 有 日 期 、 
位 置 、 风 癌 以 及 当时 洋流 情况 的 瓶子 ， 然 后 再 来 寻找 这 些 瓶 子 。 许 多 般 
挂 了 一 面 特殊 的 旗帜 ， 表 明 它 参与 了 这 个 信息 交流 计划 。 这 些 旗 帜 就 
是 出 现在 一 些 网 站 上 的 友情 链接 的 前 号 。 


通过 分 析 这 些 数据 ， 英 里 知道 了 一 些 民 好 的 天 然 航 线 ， 这 些 航 线 上 
的 风 癌 和 洋流 都 非常 利于 航行 。 他 所 绘制 的 图 表 帮 助 丙 人 们 节省 了 一 大 
笔 钱 ， 因 为 航海 路 程 减少 了 三 分 之 一 左右 。 一 个 船长 感激 地 说 : “我 在 
得 到 你 的 图 表 之 前 都 是 在 盲目 地 航行 ， 你 的 图 表 真 的 指引 了 我 。” 有 一 
些 硕 固 的 人 拒绝 使 用 这 个 新 制 的 图 表 ， 而 当 他 们 因为 使 用 旧 方 法 航行 到 
半路 出 了 事故 或 者 花费 的 航行 时 间 长 很 多 的 时 候 ， 他 们 反而 帮助 证 明了 
英里 系统 的 实用 性 。 


1855 年 ， 葛 里 的 权威 著作 《关于 海洋 的 物理 地 理学 》 (The Physical 
Geography of the Sea) 出版， 当时 他 已 经 绘制 了 120 万 数据 点 了 。 莫 里 写 
道 ， 在 这 些 图 表 的 帮助 下 ， 年 轻 的 海员 们 不 用 再 杀 自 去 探索 和 总 结 经 
oa 通过 这 些 图 表 立 即 得 到 来 自 成 干 上 万 名 经 验 丰 富 的 航海 家 的 
Avs o 
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公海 上 发 生 了 一 次 灾难 性 的 碰撞 事件 之 后 ， 他 马上 修改 了 他 的 航线 分 析 
系统 ， 这 个 修改 后 的 系统 一 直 沿 用 至 今 。 他 的 方法 甚至 应 用 到 了 天 文学 
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错 把 海王 星 当成 一 颗 恒 星 时 的 数据 都 汇集 起 来 ， 这 样 就 可 以 画 出 海王 星 
的 运行 轨迹 了 。 


这 个 土生 土 长 的 弗吉尼亚 人 在 美国 历史 上 并 不 受 关 注 ， 这 也 许 是 因 
为 他 在 美国 内 战 期 间 不 再 为 海 盏 效力 ， 而 是 摇身一变 成 为 了 类 国联 邦 政 
府 在 英国 的 间 读 。 但 是 多 年 前 ， 当 他 前 去 到 欧洲 为 他 绘制 的 图 表 寻 求 国 
际 文 持 的 时 候 ， 四 个 国家 授予 了 他 咽 士 茵 位 ， 包 括 梵 带 四 在 内 的 其 他 八 
人 
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数据 ， 从 最 不 可 能 的 地 方 提取 出 来 


庞大 的 数据 库 有 着 小 数据 库 所 没有 的 价值 ， 葛 里 中 校 是 最 早 发 现 这 
一 点 的 人 之 一 。 大 数据 的 核心 就 是 挖掘 出 庞大 的 数据 库 独 有 的 价值 。 更 
重要 的 是 ， 他 深 知 只 要 相关 信息 能 够 提取 和 绘制 出 来 ， 这 些 脏 乱 的 航海 

志 就 可 以 变 成 有 用 的 数据 。 通 过 这 样 的 方式 ， 他 重复 利用 了 别人 眼 里 
完全 没有 意义 的 数据 信息 。 从 这 个 意义 上 讲 ， 英 里 就 是 数据 化 的 先驱 。 
就 像 奥 伦 : 埃 齐 奥 尼 对 Farecast 所 做 的 事情 一 样 ， 用 航空 业 过 去 的 价格 信 
恩 催 生 了 一 个 大 有 赚 头 的 新 公司 ;也 像 谷 歌 的 工程 师 所 做 的 一 样 ， 通 过 
过 去 的 检索 记录 预测 到 了 流感 的 焊 太 ; 而 英里 则 是 发 挥 出 了 单纯 用 于 记 
录 航 行 位 置 的 数据 的 其 他 用 途 。 


虽然 与 今天 的 大 数据 技术 大 体 类 似 ， 但 是 一 想到 他 是 通过 人 工 一 笔 
一 画 完 成 的 图 表 绘 制 ， 就 让 人 不 茶 感 到 惊叹 。 这 说 明 在 远 在 信息 数字 
化 之 前 ， 对 数据 的 运用 就 已 经 开始 了 。 如 今 我 们 经 常 把 “数字 化 "和 “ 数 
所 化 ”这 两 个 概念 搞 湿 ， 但 是 对 这 两 个 概念 的 区 分 实际 上 非常 重要 。 我 
们 来 看 一 个 更 加 现代 的 例子 ， 帮 助 我 们 理解 数据 其 实 可 以 从 看 上 去 最 不 
可 能 的 东西 中 提取 出 来 。 


大 数据 先锋 

日 本 先进 工业 技术 研究 所 的 坐姿 研究 与 汽车 防盗 系统 

日 本 先进 工业 技术 研究 所 (Japan's Advanced Institute of Industrial 
Technology) 的 教授 越 水 重臣 (Shigeomi Koshimizu) 所 做 的 研究 束 是 


关于 一 个 人 的 坐姿 。 很 少 有 人 会 认为 一 个 人 的 坐姿 能 表现 什么 信息 ， 但 
征 它 真 的 可 以 。 当 一 个 人 坐 着 的 时 候 ， 他 的 身 形 、 姿 势 和 重量 分 布 都 可 


















































以 量化 和 数据 化 。 越 水 重臣 和 他 的 工程 师 团队 通过 在 汽车 座 椅 下 部 安装 
忆 共 360 个 压力 传感器 以 测量 人 对 椅子 施加 压力 的 方式 。 把 人 体 屁股 特 
征 转化 成 了 数据 ， 并 且 用 从 0~256 这 个 数值 范围 对 其 进行 量化 ， 这 样 就 
会 产生 独 属于 每 个 乘坐 者 的 精确 数据 资料 。 


在 这 个 实验 中 ， 这 个 系统 能 根据 人 体 对 座位 的 压力 差异 识别 出 乘坐 
者 的 吴 份 ， 准 确 率 高 达 989%6。 


这 个 研究 并 不 蚌 权 。 这 项 技术 可 以 作为 汽车 防盗 系统 安装 在 汽车 
上 。 有 了 这 个 系统 之 后 ， 汽 车 就 能 识别 出 区 驶 者 是 不 是 车 主 ; 如 果 不 
Fer RAMS BOR AA AS; WR LCE A BE, AE 
会 目 动 炸 火 。 把 一 个 人 的 坐姿 转化 成 数据 后 ， 这 些 数据 就 孕育 出 了 一 些 
切实 可 行 的 服务 和 一 个 前 景 光 明 的 产业 。 比 方 说 ， 通 过 汇集 这 些 数 据 ， 
我 们 可 以 利用 事故 发 生 之 前 的 姿势 变化 情况 ， 分 析出 坐姿 和 行驶 安全 之 
间 的 关系 。 这 个 系统 同样 可 以 在 司机 疲 殉 驾驶 的 时 候 发 出 警示 或 者 目 动 
刹车 。 同 时 ， 这 个 系统 不 但 可 以 发 现 车 辆 被 盗 ， 而 且 可 以 通过 收集 到 的 
数据 识别 出 盗贼 的 吴 份 。 


越 水 重臣 教授 把 一 个 从 不 被 认为 是 数据 、 甚 至 不 被 认为 和 数据 沾边 
的 事物 转化 成 了 可 以 用 数值 来 量化 的 数据 模式 。 同 样 ， 英 里 中 校 从 看 上 
去 没什么 用 处 的 事物 中 提取 出 了 信息 ， 转 化 成 了 极其 有 用 的 数据 。 这 样 
创新 性 的 应 用 创造 出 了 这 些 信息 独特 的 价值 。 


数据 化 ， 不 是 数字 化 


“数据 ”(data〉 这 个 词 在 拉丁 文 里 是 “ 己 知 ”的 意思 ， 也 可 以 理解 
为 “事实 ”*。 这 是 欧 几 里 得 的 一 部 经 典 著作 的 标题 ， 这 本 书 用 已 知 的 或 者 
可 由 已 知 推导 的 知识 来 解释 几何 学 。 如 今 ， 数 据 代表 着 对 某 件 事物 的 描 
述 ， 数 据 可 以 记录 、 分 析 和 重组 它 。 我 们 还 没有 合适 的 词 用 来 形容 英里 
和 越 水 重臣 教授 所 做 的 这 些 转变 ， 所 以 我 们 姑且 称 其 为 “数据 化 * 吧 一 一 
这 是 指 一 种 把 现象 转变 为 可 制 表 分 析 的 量化 形式 的 过 程 。 


数据 化 和 数字 化 大 相 径 姓 。 数 字 化 指 的 古 把 模拟 数据 转换 成 用 0 和 
1 表示 的 二 进 制 码 ， 这 样 电脑 就 可 以 处 理 这 些 数据 了 。 数 字 化 并 不 是 计 
算 机 改革 的 开始 ， 最 初 的 计算 机 革命 是 计算 能 力 的 飞 距 。 我 们 通过 计算 
机 计算 过 去 需要 耗 缆 很 长 时 间 的 项 目 ， 比 方 说 导弹 弹道 表 、 人 口 普查 结 
条 和 天 气 预报 。 直 到 后 来 才 出 现 了 模拟 数据 和 数字 化 。 所 以 1995 年 ， 当 
美国 肪 省 理工 学 院 媒 体 实验 室 的 尼古拉斯 ' 尼 和 饭 洛 庞 帝 (Nicholas 





























Negroponte) 发 表 他 的 标志 性 著作 《数字 化 生存 》 (Being Digital) 的 时 
候 ， 他 的 主题 就 是 “从 原子 到 比特 ”。20 世 纪 90 年 代 ， 我 们 主要 对 文本 进 
行 数字 化 。 随 着 过 去 的 几 十 年 里 存储 能 力 、 处 理 能 力 和 带宽 的 提高 ， 我 
们 也 能 对 图 像 、 视 频 和 音乐 等 类 似 的 内 容 执行 这 种 转化 了 。 


大 数据 洞察 


今天 ， 技 术 专 家 都 默认 大 数据 的 发 展 和 计算 机 的 变革 是 同步 的 。 但 
事实 并 不 是 这 样 的 。 窗 无 疑问 ， 是 现代 信息 系统 让 大 数据 成 为 了 可 能 ， 
但 是 大 数据 太 展 的 核心 动力 来 源 于 人 类 测量 、 记 录 和 分 析 世 界 的 淘 望 。 
宫 姑 技术 变 章 随处 可 见 ， 但 是 如 今 信息 技术 变革 的 重点 在 “了”( 技 术 ) 
上 ， 而 不 是 在 “I”( 人 和 信息) 上。 现在， 我 们 是 时 候 把 聚光灯 打 同 “I*"， 开 
始 关 注 信 息 本 号 了 。 


为 了 得 到 可 量化 的 信息 ， 我 们 要 知道 如 何 计 量 ; 为 了 数据 化 量化 了 
的 信息 ， 我 们 要 知道 怎么 记录 计量 的 结果 。 这 需要 我 们 拥有 正确 的 工 
具 。 计 量 和 记录 的 需求 也 是 数据 化 的 前 提 ， 而 我 们 在 数字 化 时 代 来 临 的 
几 个 世纪 前 就 已 经 页 定好 了 数据 化 的 基础 。 


量化 一 切 ， 数 据 化 的 核心 


记录 信息 的 能 力 是 原始 社会 和 先进 社会 的 分 界线 之 一 。 早 期 文明 最 
古老 的 抽象 工具 就 是 基础 的 计算 以 及 长 度 和 重量 的 计量 。 公 元 前 3000 
年 ， 信 息 记 录 在 印度 河流 域 、 埃 及 和 美 索 不 达 米 亚 平 原 地 区 束 有 了 很 大 
的 发 展 ， 而 日 党 的 计量 方法 也 大 有 改善 。 美 索 不 达 米 亚 平 原 上 书写 的 发 
展 促使 了 一 种 记录 生产 和 交易 的 精确 方法 的 产生 ， 这 让 早期 文明 能 够 计 
量 并 记载 事实 情况 ， 并 且 为 日 后 所 用 。 计 量 和 记录 一 起 促成 了 数据 的 
诞生 ， 它 们 是 数据 化 最 早 的 根基 。 


计量 和 记录 能 够 再 现 人 类 活动 。 比 如 通过 记录 建筑 物 的 建筑 方式 和 
原材料 ， 我 们 束 能 再 建 同 样 的 建筑 ， 或 进行 实验 性 的 操作 ， 比 如 通过 改 
变 一 些 方式 保存 其 他 部 分 而 建造 出 新 的 建筑 物 ， 然 后 再 记录 这 些 新 建筑 
物 。 交 易 情况 一 旦 得 到 记录 ， 我 们 束 可 以 知道 一 块 地 丰收 时 稻谷 的 产量 
是 多 少 、 需 要 上 缴 多 少 政府 税收 。 计 量 和 记录 为 预测 和 计划 葛 定 了 基 
础 ， 虽 然 这 建立 在 假定 明年 的 收成 和 今年 一 样 的 基础 上 。 有 了 记录 ， 交 
易 双 方才 会 知道 他 们 内 账 的 情况 ， 而 如 果 没 有 这 些 和 凭证 的 支持 ， 欠 债 的 
一 方 则 完全 可 以 不 用 还 钱 。 















































几 百 年来， 计量 从 长 度 和 重量 不 断 扩 展 到 了 面积 、 体 积 和 时 间 。 公 
元 前 的 最 后 一 个 生年， 西方 的 计量 方法 已 经 基本 准备 就 绪 ， 但 是 还 是 有 
着 比较 严重 的 缺陷 。 早 期 文明 的 计量 方法 不 太 适 合计 算 ， 哪 怕 是 比较 简 
单 的 计算 。 比 如 罗马 数字 的 计算 系统 就 不 适合 数字 计算 ， 因 为 它 没 有 一 
个 以 10 为 撒 的 记 数 制 或 者 说 是 十 进 制 ， 所 以 大 数目 的 乘除 束 算 是 专家 都 
不 知道 该 怎么 算 ， 而 简单 的 乘除 对 一 般 人 来 说 也 不 容易 。 


大 约 公元 1 世纪 的 时 候 ， 印 度 发 明了 一 种 目 己 的 数字 系统 。 它 传播 
到 了 波斯 ， 并 在 那里 得 到 改善 ， 而 后 传 入 阿拉 伯 国 家 ， 得 到 了 极 大 的 改 
进 。 这 也 就 是 今天 使 用 的 阿拉 伯 数 字 的 前 映 。 十 字 备 东 征 给 当地 人 民 带 
来 了 彻头彻尾 的 灾难 ， 但 同时 也 把 西欧 文明 融 到 了 地 中 海 东部 ， 而 其 中 
最 重要 的 引入 就 是 阿拉 人 数字。 公元 1000 年 ， 教 星 西 尔 维 斯 特 二 世 开 始 
倡导 使 用 阿拉 伯 数 字 。12 世 纪 ， 介 绍 阿拉 伯 数 字 的 书籍 被 翻译 成 拉丁 
文 ， 传 播 到 了 整个 欧洲 地 区 。 这 也 就 开启 了 算术 的 腾飞 。 


早 在 阿拉 伯 数 字 传 播 到 欧洲 之 前 ， 计 数 板 的 使 用 就 已 经 改善 了 算 
术 。 计 数 板 就 是 在 光滑 的 托盘 上 放 上 代 币 来 表示 数量 ， 人 们 通过 移动 代 
币 到 茶 个 区 域 进行 加 减 。 但 是 ， 这 种 计数 板 有 痢 严 重 的 缺陷 ， 即 过 大 和 
过 小 的 计算 无 法 同时 进行 。 最 主要 的 缺陷 还 在 于 ， 这 些 计数 板 上 的 数字 
变化 很 快 ， 不 小 心 的 碰撞 或 者 是 摆 错 一 位 都 会 导致 完全 错误 的 结果 。 而 
且 ， 即 便 计 数 板 勉强 可 以 进行 计算 ， 它 也 不 适合 用 来 记录 。 因 为 一 旦 需 
要 将 数字 记录 在 计数 板 以 外 的 地 方 ， 束 必须 把 计数 板 上 的 数字 转化 成 多 
马 数 字 ， 这 可 就 费时 费力 了。 


算术 赋予 了 数据 新 的 意义 ， 因 为 它 现在 不 但 可 以 被 记录 还 可 以 被 分 
析 和 再 利用 。 阿 拉 伯 数字 从 12 世 纪 开 始 在 欧洲 出 现 ， 而 直到 16 志 纪 晚 期 
才 被 广泛 采 用 。 到 16 世 纪 的 时 候 ， 数 学 家 们 大 肆 或 吹 他 们 使 用 阿拉 伯 数 
字 计 算 能 比 使 用 计数 板 快 6 倍 。 但 最 终 让 阿拉 伯 数 字 广 为 采用 的 还 是 复 
式 记 账 法 9 的 出 现 ， 它 也 是 数据 化 的 一 种 工具 。 


公元 前 3000 年 ， 会 计 手 稿 就 出 现 了 。 但 是 ， 记 账 法 在 接 下 来 的 几 百 
年 里 有 发展 缓慢 ， 基 本 上 一 直 保 持 在 记录 茶 地 的 茶 个 特定 交易 的 阶段 。 记 
账 人 和 他 的 雇主 最 关心 的 就 是 判断 某 个 账户 或 者 目 己 所 从 事 的 行业 是 否 
赚钱 ， 而 这 正 是 当时 的 记 账 手法 无 法 轻易 做 到 的 事情 。 到 了 14 世 纪 ， 随 
独 意 大 利 的 会 计 们 开始 使 用 两 个 账本 记录 交易 明细 ， 这 种 全 傣 的 境地 开 
始 发 生 改变 。 这 种 记 账 法 的 优势 在 于 ， 人 们 只 需要 将 借贷 相 加 ， 就 可 进 
行 制 表 并 得 知 每 个 账户 的 备 亏 情况 。 如 此 ， 数 据 又 然 发 声 了 ， 虽 然 仅 限 
于 读 出 熏 亏 情况 。 
































如 今 ， 复 式 记 账 法 通 第 被 看 成 是 会 计 业 和 人 金融 业 不 断 发 展 的 成 果 。 
事实 上 ， 在 数据 利用 的 推进 过 程 中 ， 它 也 是 一 个 里 程 碑 似 的 存在 。 它 的 
出 现实 现 了 相关 账户 信息 的 “分 门 别 类 ”记录 。 它 建立 在 一 系列 记录 数据 
的 规则 之 上 ， 也 是 最 早 的 信息 记录 标准 化 的 例子 ， 使 得 会 计 们 能 够 读 惜 
彼此 的 账本 。 复 式 记 账 法 可 以 使 查询 每 个 账户 的 鳃 亏 情况 变 得 简单 容 
易 。 它 会 提供 交易 的 记 账 线索 ， 这 样 就 更 容易 找到 需要 的 数据 。 它 的 设 
计 理 念 中 包含 了 “ 纠 错 ” 的 思想 ， 这 也 是 今天 的 搁 术 人 才 们 应 该 学 习 的 。 
如 果 一 个 账本 看 着 不 对 劲 ， 我 们 可 以 查询 另 一 个 相对 应 的 账本 。 


但 是 ， 和 阿拉 伯 数 字 一 样 ， 复 式 记 账 法 也 没有 立即 取得 成 功 。 直 到 
200 年 之 后 ， 一 个 数学 家 和 一 个 商业 家 族 才 让 它 大 受 欢 迎 ， 他 们 也 改变 
了 数据 化 的 历史 。 


EPS BUA RET OF IVE RB PG LA] (Luca Pacioli) 。 
1494 年 ， 他 出 版 了 一 本 为 普通 读者 和 商人 所 写 的 数学 教材 。 这 本 书 大 获 
成 功 ， 成 为 盛行 一 时 的 数学 教科 书 。 这 是 第 一 本 全 书 都 使 用 阿拉 伯 数 字 
的 书籍 ， 因 此 也 促进 了 阿拉 伯 数 字 在 欧洲 的 传播 。 当 然 ， 这 本 书 最 大 的 
贡献 在 于 它 对 复式 记 账 法 的 详尽 论述 。 接 下 来 的 几 十 年 间 ， 这 个 论述 复 
人 并 且 成 为 几 个 世纪 的 通用 范 





























而 所 谓 的 一 个 商业 冢 族 ， 就 是 指 美 第 齐 家 族 一 一 威尼斯 商人 和 艺术 
资助 人 。16 世 纪 ， 这 个 家 族 能 成 为 欧洲 最 有 影响 力 的 银行 家 族 ， 很 大 一 
部 分 要 归功 于 他 们 使 用 的 一 种 高 级 数据 记录 方法 一 一 复式 记 账 法 。 帕 西 
奥 利 的 著作 和 美 第 齐 家 族 的 成 功 珊 定 了 复式 记 账 法 成 为 标准 数据 记录 
法 的 基础 ， 也 丙 定 了 阿拉 伯 数 字 在 此 之 后 不 可 取代 的 地 位 。 


伴随 着 数据 记录 的 发 展 ， 人 类 探索 世界 的 想法 一 二 在 脱 胀 ， 我 们 交 
望 能 更 精准 地 记录 时 间 、 距 离 、 地 点 、 体 积 和 重量 ， 等 等 。 到 了 19 世 
纪 ， 随 着 科学 家 们 发 明了 新 工具 来 测量 和 记录 电流 、 气 压 、 瘟 度 、 声 频 
之 类 的 上 自然 科学 现象 ， 科 学 已 经 离 不 开 定量 化 了 。 那 是 一 个 一 切 事物 痢 
再 要 被 测量 、 划 分 和 记录 的 时 代 ， 人 们 理解 自然 的 热情 甚至 高 涨 到 通过 
分 析 测 量 人 的 颅骨 来 试图 分 析 人 的 心智 能 力 。 好 在 ， 对 颅 相 学 这 类 伪 科 
学 的 热情 最 终 淡 去 了， 但 是 人 类 对 于 量化 一 切 的 热情 却 始终 没有 减退 。 


新 工具 和 开放 的 思维 促进 了 测量 事物 和 记录 数据 的 繁荣 ， 而 现代 数 
据 化 就 诞生 于 这 卢 沃 十 之 中 。 数 据 化 的 基础 已 经 真 定 完好 ， 只 是 在 模拟 
时 代 这 依然 是 费时 费力 的 。 有 时 候 似 乎 需要 无 穷 无 尽 的 激情 和 了 耐心， 或 
































者 说 ， 起 码 也 要 有 奉献 一 生 的 准备 ， 比 如 16 世 纪 的 第 谷 : 布 拉 赫 (Tycho 
Brahe) 就 夜 夜 细 心 观 察 天 体 运 动 。 数 据 化 在 模拟 时 代 成 功 的 例子 并 不 
多 ， 因 为 这 需要 很 好 的 运气 一 大 串 的 偶然 巧妙 地 结合 在 一 起 。 中 校 
莫 里 就 很 幸运 ， 他 因 伤 坐 进 了 办 公 室 ， 但 是 却 在 那里 发 现 了 珍 贯 的 航海 
日 志 ， 可 不 是 每 个 人 都 能 这 么 入 运 的 。 然 而 ， 数 据 化 的 实现 有 一 点 必 不 
0 me red ae mee en nae 
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计算 机 的 出 现 带 来 了 数字 测量 和 存储 设备 ， 这 样 就 大 大 提高 了 数据 
化 的 效率 。 计 算 机 也 使 得 通过 数学 分 析 挖 掘 出 数据 更 大 的 价值 变 成 了 可 
能 。 简 而 言 之 ， 数 字 化 带 来 了 数据 化 ， 但 是 数字 化 无 法 取代 数据 化 。 
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当 文 字 变 成 数据 


数字 化 和 数据 化 的 差异 是 什么 ? 回答 这 个 问题 很 容易 ， 我 们 来 看 一 
个 两 者 同时 存在 并 且 起 作用 的 领域 就 可 以 理解 了 ， 这 个 领域 束 是 书籍 。 
2004 年 ， 谷 歌 发 布 了 一 个 野心 劲 劲 的 计划 : 它 试 图 把 所 有 版 权 条 例 允 许 
的 书本 内 容 进行 数字 化 ， 让 世界 上 所 有 的 人 都 能 通过 网 络 免费 阅读 这 些 
书籍 。 为 了 完成 这 个 伟大 的 计划 ， 谷 歌 与 全 球 最 大 和 最 著名 的 图 书馆 进 
行 了 合作 ， 并 且 还 发 明了 一 个 能 目 动 翻 页 的 扫描 仪 ， 这 样 对 上 百 万 书籍 
的 扫描 工作 才 切 实 可 行 且 不 至 于 太 过 吊 喧 。 


刚 开 始 ， 谷 歌 所 做 的 是 数字 化 文本 ， 每 一 页 都 被 扫描 然后 存 入 谷歌 
服务 器 的 一 个 高 分 辩 率 数字 图 像 文 件 中 。 书 本 上 的 内 容 变 成 了 网 络 上 的 
数字 文本 ， 所 以 任何 地 方 的 任何 人 都 可 以 方便 地 进行 得 阅 了 。 然 而 ， 这 
还 是 需要 用 户 要 么 知道 自己 要 找 的 内 容 在 哪 本 书 上 ， 要 么 必须 在 浩瀚 的 
内 容 中 寻 况 自己 需要 的 片段 。 因 为 这 些 数字 文本 没有 被 数据 化 ， 所 以 它 
们 不 能 通过 搜索 词 极 碍 找到 ， 也 不 能 被 分 机 。 人 谷歌 所 拥有 的 只 是 一 些 图 
像 ， 这 些 图 像 只 有 依靠 人 的 阅读 才能 转化 为 有 用 的 信息 。 


虽然 这 是 一 个 现代 的 、 数 字 化 的 亚历山大 图 书馆 ， 比 历史 上 任何 一 
个 图 书馆 都 要 强大 ， 但 谷歌 依然 希望 它 能 做 得 更 多 。 谷 歌 知 道 ， 这 些 信 
恩 只 有 被 数据 化 ， 它 的 巨大 潜在 价值 才 会 被 释放 出 来 。 因 此 谷歌 使 用 了 
能 识别 数字 图 像 的 光学 字符 识别 软件 来 识别 文本 的 字 、 词 、 句 和 段落 ， 
如 此 一 来 ， 书 页 的 数字 化 图 像 束 转化 成 了 数据 化 文本 。 
































如 今 ， 不 仅 人 类 可 以 使 用 这 些 文本 信息 ， 计 算 机 也 可 以 处 理 和 分 析 
这 些 文本 数据 了 。 通 过 检索 和 查询 ， 我 们 可 以 对 它 进行 无 穷 无 尽 的 文本 
分 析 ; 也 可 以 揭示 一 个 词 以 及 词组 第 一 次 出 现 的 时 间 及 其 成 为 流行 词 的 
a n ee a 这 种 分 析 文 
寺 好 几 种 语言 。 


大 数据 先锋 
谷歌 的 数字 图 书馆 


你 可 以 自己 试 一 试 。 输 入 网 址 http: //books.google.com/ngrams, FJ 
开 Google Ngram Viewer， 它 利用 谷歌 所 拥有 的 所 有 图 书 作 为 数据 资源 ， 
为 你 提供 单词 和 短语 历年 使 用 次 数 的 展示 图 表 。 甩 眼 之 间 ， 我 们 就 能 发 
现 “causality”( 因 果 关 系 ) 这 个 词 在 1900 年 之 前 的 使 用 频率 
比 “correlation”( 相 关 关 系 〉 高 ; 而 在 1900 年 之 后 ， 情 况 束 与 之 前 相反 
了 。 对 于 作者 存在 争议 的 书籍 ， 我 们 目 己 也 可 以 进行 作品 风格 鉴定 。 数 
据 化 的 实现 让 抄 黎 学 术 作 品 的 行为 越 来 越 无 处 藏身 ， 因 此 ， 很 多 欧洲 政 
客 〈 包 括 一 名 德国 国防 部 长 ) 的 抄 黎 行为 被 曝光 ， 最 终 不 得 不 引咎 群 
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15 世 纪 中 叶 ， 人 类 发 明了 印刷 机 ， 在 这 之 后 大 约 出 版 了 1.3 亿 册 图 
书 。 到 2010 年 为 止 ， 也 就 是 谷歌 的 数字 化 图 书 计划 实行 7 年 之 后 ， 大 约 
有 2000 万 图 书 被 扫描 成 了 数字 图 书 ， 这 几乎 相当 于 人 类 所 有 书写 文明 的 
15%， 这 是 多 么 惊人 的 数字 ! 这 诱发 了 一 个 新 的 学 术 方 同一 一 文化 组 
学 s。“ 文 化 组 学 ”是 一 个 计算 机 专业 词汇 ， 指 的 就 是 通过 文本 的 定量 分 
析 来 揭示 人 类 行为 和 文化 发 展 的 趋势 。 


在 一 项 研究 中 ， 哈 佛 大 学 的 研究 员 们 对 几 百 万 册 书 籍 和 超过 5000 亿 
个 单词 进行 了 深入 研究 ， 发 现 这 些 书 中 出 现 过 的 单词 有 一 半 以 上 在 字典 
中 是 无 法 找到 的 。s 他 们 写 道 ， 这 些 因为 不 够 规范 而 没有 录入 正规 词典 
中 的 词汇 如 此 之 多 ， 是 一 个 巨大 的 宝藏 。 通 过 系统 分 析 人 们 如 何 提 及 纳 
粹 德国 时 期 的 犹太 画家 马克 . 夏 加 尔 (Marce Chagall) sa， 他 们 发 现 对 于 
思想 或 是 个 人 的 审查 和 压制 会 留 下 “可 量化 的 痕迹 "。 词 语 就 像 是 藏 于 书 
中 而 非 沉积 岩 中 的 化 石 ， 信 奉 “ 文 化 组 学 * 的 人 可 以 像 考 古 学 家 一 般 ， 挖 
掘 它们 所 蕴藏 的 财富 。 当 然 ， 这 可 能 会 导致 一 些 可 能 的 偏差 ， 比 如 图 书 
馆 的 书籍 是 不 是 真实 地 反映 了 现实 呢 ? 还 是 反映 的 只 是 作者 和 图 书 管理 
员 看 到 的 世界 ? 尽管 如 此 ，“ 文 化 组 学 "还 是 会 为 人 们 带 来 很 多 惊喜 的 发 
现 。 
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可 用 之 分 析 。 但 是 作为 典型 的 大 数据 公司 ,谷歌 目 然 知道 收集 信息 并 进 
行 数据 化 的 价值 ， 因 为 这 些 数 据 有 非常 多 的 潜在 有 用途。 所 以 ， 谷 歌 精明 
地 利用 这 些 数据 化 了 的 文本 来 改进 它 的 机 占 翻 译 服务 。 束 像 第 3 章 介 绍 
过 的 一 样 ， 这 个 系统 会 目 动 扫描 译本 ， 然 后 找 出 译 语 的 单词 和 词组 在 源 
语 中 的 对 应 词 和 词组 是 什么 。 一 旦 得 到 答案 ， 系 统 就 可 以 把 翻译 看 成 是 
Re 
[词组 。 


当然 ， 谷 歌 并 不 是 第 一 个 梦想 在 计算 机 时 代 唤 醒 书 写 文 明 所 缠 含 的 
财富 的 公司 ， 它 也 不 是 第 一 个 吃 螃蟹 的 人 。1971 年 ， 一 个 志愿 者 提出 倡 
议 把 公共 领域 的 书籍 放 上 网 络 ， 制 成 电子 书 ， 方 便 更 多 的 人 阅读 ， 这 就 
是 古 登 堡 计划 (Project Gutenburg) 。 这 是 非常 有 意义 的 ， 但 是 这 个 计 
划 没 有 把 书籍 数据 化 ， 也 没有 开发 出 书籍 的 其 他 功能 ;， 它 关注 的 是 阅 
读 ， 而 不 是 扩充 书籍 用 途 。 同 样 地 ， 出 版 社 多 年 来 也 一 直 致 力 于 电子 书 
领域 的 开发 ， 但 是 他 们 都 只 是 把 书籍 内 容 作 为 核心 价值 ， 而 没有 把 书籍 
看 作 一 种 数据 并 纳入 上 自己 的 商业 模式 中 。 因 此 ， 他 们 没有 做 到 把 书籍 的 
数据 价值 挖掘 出 来 ， 也 不 允许 别人 这 样 做 。 他 们 没有 看 到 数据 化 的 需 
求 ， 也 意识 不 到 书籍 的 数据 化 潜力 。 


现在 很 多 公司 部 在 电子 书 领域 激烈 地 苋 争 看 ， 亚 号 还 连同 它 的 
Kindle 电 子 书 就 是 这 个 领域 的 先驱 者 。 同 样 在 这 里 ， 亚 马 进 和 谷歌 的 发 
展 朱 上 略 差 寞 显而易见 。 


亚马逊 拥有 数据 化 的 书籍 ， 却 不 曾 挖掘 书籍 数据 化 之 后 的 附加 价 
值 。 该 公司 创始 人 兼 执 行 总 裁 贝 索 斯 次 服 了 上 百 家 出 版 社 在 Kindle 上 发 
布 它们 的 图 书 ， 所 以 Kindle 的 图 书 并 不 是 数字 图 像 ， 人 们 可 以 更 改 字体 
大 小 和 用 黑白 以 及 彩色 两 种 方式 看 书 。 这 些 书籍 是 数据 化 了 的 ， 不 只 是 
数字 化 。 事 实 上 ， 亚 杞 撑 把 上 百 万 的 新 书 都 数据 化 了 ， 而 谷歌 却 在 费力 
地 数据 化 很 多 旧版 本 的 数据 。 然 而 ， 亚 杞 进 把 它 的 眼光 聚焦 于 用 来 阅读 
的 书籍 内 容 上 ， 而 不 是 分 析 数 据 化 文本 上 。 当 然 ， 有 可 能 它 面 对 了 来 自 
传统 出 版 社 的 压力 ， 后 者 可 能 限制 了 书籍 内 容 的 使 用 方法 ， 毕 竟 版 权 在 
人 家 手中 。 谷 歌 ， 作 为 一 个 喜欢 路 界 的 叛逆 的 大 数据 公司 ， 融 没有 这 样 
的 压力 了 ， 毕 竞 谷歌 的 资源 来 源 于 用 户 点 击 ， 而 不 关 出 版 社 什 么 事 。 至 
少 现在 ， 可 以 不 失 公 允 地 说 ， 亚 号 还 深 谤 数字 化 内 容 的 意义 ， 而 谷歌 触 
及 了 数据 化 内 容 的 价值 。 
















































































当 方位 变 成 数据 


地 球 本 刁 构 成 了 世界 上 最 基础 的 信息 。 但 是 ， 历 史上 它 几 乎 从 来 没 
有 被 量 化 和 数据 化 过 。 其 实 ， 人 和 事物 的 地 理 定 位 目 然 是 信息 的 组 成 部 
分 ， 不 然 我 们 如 何 能 够 吟唱 “所 谓 伊 人 ， 在 水 一 方 *， 但 是 ， 这 些 信 息 需 
要 转变 为 数据 。 


大 数据 洞察 


对 地 理 位 置 的 数据 化 需要 满足 一 些 前 提 条 件 。 我 们 需要 能 精确 地 测 
量 地 球 上 的 每 一 块 地 方 ， 我 们 需要 一 套 标 准 的 标记 体系 ; 我 们 需要 收集 
和 记录 数据 的 工具 。 简 而 言 之 ， 就 是 地 理 范 围 、 标 准 、 工 具 或 者 说 量 
化 、 标 准 化 、 收 集 。 只 有 具备 了 这 些 ， 我 们 才能 把 位 置信 息 当 成 数据 来 
存储 和 分 析 。 


在 西方 ， 对 位 置信 息 的 量化 起 源 于 希腊 。 公 元 前 200 年 ， 埃 拉 托 色 
尼 发 明了 用 格 网 线 来 划分 区 域 的 系统 ， 类 似 于 经 纬度 法 。 但 是 ， 如 同 很 
多 古代 的 好 想法 一 样 ， 它 也 在 历史 长 河中 被 慢 慢 遗忘 了 。 大 约 1500 年 之 
后 ， 也 就 是 公元 1400 年 ， 托 勒 密闭 成 的 《地 理学 》 (Geographia) 的 复 
印 本 从 君 士 坦 丁 堡 传 到 了 佛 罗 伦 院 ， 那 正 是 文艺 复兴 和 贸易 船 点 燃 了 对 
科学 和 古典 知识 的 热情 的 时 候 。 闭 作 彼 动 一 时 ， 而 书 中 提 到 的 系统 现在 
仍 被 用 来 解决 航海 导航 的 难题 。 从 那 以 后 ， 地 图 上 标 上 了 经 纬度 和 比例 
凡 。 这 套 系统 在 1570 年 得 到 了 佛 兰 德 制图 师 墨 卡 托 的 改善 ， 至 此 海员 们 
就 能 利用 它 画 出 笔直 的 航线 了 。 


虽然 那 时 就 出 现 了 记录 地 理 方位 的 方法 ， 但 却 缺 乏 广 为 认可 的 标记 
标准 ， 使 得 信息 共享 依然 难以 实现 。 人 们 急需 一 套 标准 的 标记 系统 ， 就 
像 互 联网 需要 有 域名 才能 正常 运行 一 样 。 经 纬度 的 标准 化 是 一 个 漫长 的 
过 程 。 直 到 1884 年 ， 在 美国 华盛顿 召开 的 国际 子午 线 会 议 上 ，25 个 与 会 
国家 中 的 24 个 国家 一 致 同意 将 英格兰 格林 尼 治 定 为 本 初子 午 线 和 零度 经 
线 所 穿 过 的 地 方 ( 只 有 自命 不 凡 的 法 国 投 了 弃权 票 )。20 志 纪 40 年 代 ， 
墨 卡 托 方位 法 把 世界 划分 成 了 60 个 区 域 ， 提 高 了 地 理 定位 的 精确 性 。 


这 样 一 来 ， 地 理 定位 信息 终于 能 在 标准 化 的 数值 范式 下 进行 标记 、 
记录 、 测 量 、 分 析 和 共享 了 。 但 是 因为 在 模拟 数据 时 代 ， 测 量 和 记录 地 
理 位 置信 息 耗 费 很 大 ， 人 们 很 少 执行 。 因此， 发 明 能 低 成 本 测量 地 理 方 
位 的 工具 迫在眉睫 。 到 20 世 纪 70 年 代 ， 进 行 地 理 位 置 定位 还 只 能 依靠 地 
标 、 天 文 星 座 、 航 位 推测 法 和 尚 显 人 欠缺 的 无 线 电 定位 技术 。 










































































1978 年 见证 了 一 个 伟大 的 转变 ， 当 时 构成 全 球 定 位 系统 CGPS) 的 
24 颗 卫星 第 一 次 发 射 成 功 。 无 论 是 汽车 上 的 导航 系统 还 是 智能 手机 ， 地 
面 上 的 接收 器 都 能 通过 计算 接收 信号 所 需 时 间 的 兰 异 对 它们 进行 三 角 定 
位 ， 而 这 些 信 号 就 来 自 于 距离 我 们 20372 干 米 的 天 空 。20 世 纪 80 年 代 ， 
这 个 系统 第 一 次 对 民用 开放 ， 到 90 年 代 才 完全 投入 使 用 ， 而 同时 为 了 实 
现 丙 业 运用 ， 它 的 精确 度 在 十 年 后 得 到 了 大 幅 提 升 。 如 今 ， 全 球 定 位 系 
统 的 地 理 定位 能 精确 到 米 ， 束 这 样 ， 它 实现 了 上 自古 以 来 无 数 航海 家 、 制 
图 家 和 数学 家 的 梦想 。 通 过 与 技术 手段 的 融合 ， 全 球 定 位 系统 能 够 快 
速 、 相 对 低 价 地 进行 地 理 定 位 ， 而 且 不 需要 任何 专业 知识 。 


定位 时 时 刻 刻 都 可 能 生成 信息 。 只 要 愿意 ， 埃 拉 托 色 尼 或 者 墨 卡 托 
大 可 以 每 时 每 刻 都 对 他 们 所 处 的 位 置 进 行 定位 ， 这 谁 也 管 不 着 。 但 就 算 
这 是 可 行 的 ， 也 不 现实 。 同 样 地 ， 早 期 的 接收 器 非常 复杂 和 昂贵 ， 适 用 
于 潜艇 而 不 是 出 租车 。 幸 好 ， 改 变 发 后 了 ， 这 多 亏 了 数字 设备 中 廉价 心 
片 的 普及 。GPS 导 航 的 价格 由 20 世 纪 90 年 代 的 上 百 美元 又 降 到 了 今天 的 
1 美元 以 下 。 用 GPS 进行 定位 一 般 仅 需要 几 秒 钟 的 时 间 ， 它 使 用 的 是 标 
准 化 坐标 表示 法 ; 所 以 37°14'06"N 115°48'40"W 说 明 这 个 人 一 定 是 位 于 
内 华 达 州 偏远 的 51 号 区 域 (Area 51) ， 一 个 美军 超 高 安全 、 超 级 保密 的 
军事 基地 一 -一 传说 那里 面 关 的 都 是 外 星人 呢 ! 


如 今 ，GPS 已 经 只 是 众多 定位 系统 中 的 一 种 了 。 中 国 和 欧洲 也 正在 
研发 新 的 卫星 定位 系统 来 与 之 抗衡 。 这 些 新 系统 通过 对 电 塔 和 无 线路 由 
器 的 信号 强度 进行 三 角 测 量 来 定位 地 理 位 置 ， 从 而 弥补 了 GPS 无 法 在 室 
内 和 高 楼 之 间 进 行 定位 的 缺陷 ， 这 也 是 谷歌 、 苹 果 和 微软 需要 自己 研发 
地 理 定位 系统 来 辅助 GPS 的 原因 。 谷 歌 的 街景 车 (Street View Cars) iW 
拍照 边 收 集 无 线路 由 器 信息 ; iPhone 本 身 就 是 一 个 “移动 间谍 ”， 一 直 在 
用 户 不 知情 的 情况 下 收集 位 置 和 无 线 数 据 然后 传 回 苹果 公司 ; 当然 ， 谷 
歌 的 安 时 手机 和 微软 的 手机 操作 系统 也 在 收集 这 一 类 数据 。 


除了 人 人 以外， 我 们 也 可 以 跟踪 事物 的 地 理 位 置信 息 。 随 看 汽车 效 上 
了 无 线 传 感 器 ， 地 理 位 置信 息 的 数据 化 深刻 变 哇 了 保险 的 概念 。 这 些 数 
所 提供 了 关于 时 间 、 地 点 和 实际 行驶 路 程 的 详细 信息 ， 使 保险 公司 能 
好 地 为 车 险 定价 。 在 英国 ， 和 车 主 可 以 根据 他 的 实际 敬 驶 地 点 和 时 间 购 买 
汽车 保险 ， 而 不 是 只 能 根据 他 的 年 龄 、 性 别 和 履历 来 购买 年 险 。 这 种 保 
险 定 价 法 激励 投保 人 产生 更 好 的 行为 习惯 。 同 时 ， 这 改变 了 保险 的 基 
础 ， 从 考虑 一 个 群体 的 平均 风险 转变 为 个 性 化 的 分 析 。 通 过 汽车 定位 每 
个 人 的 地 理 方 位 也 改变 了 一 些 固 定 资 产 投 入 的 模式 ， 比 方 说 公路 和 其 他 































































































基础 设施 可 以 让 使 用 这 些 资源 的 司机 和 其 他 人 分 担 一 部 分 投入 。 当 然 ， 
在 实现 对 所 有 人 和 事 以 数据 形式 保持 持续 定位 之 前 ， 这 显然 还 无 法 实 
现 ， 但 这 是 我 们 的 发 展 方 同 。 


大 数据 先锋 
多 效 地 理 定位 与 UPS 的 最 佳 行车 路 径 


UPS 快 递 多 效 地 利用 了 地 理 定位 数据 。 为 了 使 总 部 能 在 车 辆 出 现 晚 
点 的 时 候 跟 踪 到 车 辆 的 位 置 和 预防 引擎 故障 ， 它 的 货车 上 装 有 传 感 右 、 
无 线 适 配 圳 和 GPS。 同 时 ， 这 些 设备 也 方便 了 公司 监督 管理 员工 并 优化 
行车 线路 。 就 像 英 里 的 图 表 是 基于 过 去 的 航海 经 验 一 样 ，UPS 为 货车 定 
制 的 最 佳 行车 路 径 一 定 程度 上 也 是 根据 过 去 的 行车 经 验 总 结 而 来 的 。 


UPS 的 过 程 管 理 总 监 杰 克 : 莱 维 斯 (Jack Levis) 认为 这 个 分 析 项 目 
效果 显著 。2011 年 ，UPS 的 驾驶 员 们 少 跑 了 近 4828 万 公里 的 路 程 ， 节 省 
了 300 万 加 仑 的 燃料 并 且 减 少 了 3 万 公吨 的 二 氧化 碳 排放 量 。 系 统 也 设计 
了 尽量 少 左 转 的 路 线 ， 因 为 左 转 要 求 货 车 在 交叉 路 口 穿 过 去 ， 所 以 更 容 
易 出 事故 。 而 且 ， 贷 车 往往 需要 等 待 一 会 儿 才 能 左 转 ， 也 会 更 耗 油 ， 因 
此 ， 减 少 左 转 使 得 行车 的 安全 性 和 效率 都 得 到 了 大 幅 提 升 。 


莱 维 斯 说 , “预测 给 我 们 知识 ， 而 知识 赋予 我 们 智慧 和 洞 见 。” 他 很 
确信 ， 有 一 天 ， 这 个 系统 一 定 能 在 用 户 意识 到 问题 之 前 预测 到 并 且 解决 
问题 。 


数据 化 实时 位 置信 息 在 人 身上 的 运用 最 为 显著 。 多 年 来 ， 无 线 运 营 
商 通 过 收集 和 分 析 这 些 信 息 来 提升 移动 互联 网 的 服务 水 平 。 不 过 ， 这 些 
数据 越 来 越 多 地 被 用 于 其 他 事情 上 ， 第 三 方 也 开始 利用 这 些 数据 来 提供 
新 的 服务 。 比 方 说 ， 一 些 智能 手机 的 应 用 程序 也 不 管 它 本 映 是 否 具 有 定 
位 功能 ， 就 收集 位 置信 息 ;， 还 有 一 些 应 用 程序 就 是 为 了 获得 用 户 的 位 置 
信息 而 存在 的 ， 比 如 Foursquare， 它 让 用 户 在 最 喜爱 的 地 方 “check in”, 
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毋 良 置疑， 收集 用 户 地 理 位 置 数据 的 能 力 已 经 变 得 极其 具有 价值 。 
从 个 人 层面 上 来 说 ， 根 据 他 所 居住 的 地 点 和 他 要 去 的 地 方 的 预测 数据 ， 
可 以 为 他 提供 定制 广告 。 而 且 ， 这 些 信息 汇集 起 来 可 能 会 揭示 事情 的 发 
展 趋 势 。2 比 方 说 ， 公 司 可 以 利用 大 量 的 位 置 数据 预测 交通 情况 ， 你 也 











许 无 法 想象 ， 这 是 通过 高 速 公 路 上 的 手机 而 不 是 汽车 的 数量 和 移动 速度 
预测 出 来 的 。AirSage 每 天 通过 处 理 来 自 上 百 万 手机 用 户 的 150 亿 条 位 置 
信息 ， 为 超过 100 个 美国 城市 提供 实时 交通 信息 。 其 他 两 个 位 置 数据 服 
4 fal Sense Networks 和 Skyhook 使 用 位 置 数据 揭示 城市 夜生活 最 党 荣 的 地 
方 或 者 游行 队伍 聚集 了 多 少 人 。 


不 过 ， 位 置 数 据 在 商业 以 外 的 用 途 或 许 才 是 最 重要 的 。 订 省 理工 学 
院 媒 体 实验 室 人 类 动力 学 8 实验 室 主 任 亚历山大 : 绢 特 兰 (Alexander 
“Sandy”Pentland〉 和 他 的 学 生 南 森 : 伊 格 尔 (Nathan Eagle〉 是 所 请 的 “ 现 
实 挖掘 ”研究 的 先 马 。“ 现 实 挖掘 > 这 里 指 的 是 通过 处 理 大 量 来 自 手 机 的 
数据 ， 发 现 和 预测 人 类 行为 。 在 一 项 研究 中 ， 他 们 通过 分 析 每 个 人 去 
了 哪里 、 见 了 谁 ， 成 功 地 区 分 出 了 感染 了 流感 的 人 群 ， 而 且 在 感染 者 还 
完全 不 知道 自己 已 经 患 病 之 前 就 做 出 了 区 分 。 如 果 出 现 非 党 严重 的 流感 
疫情 ， 这 可 以 挽救 无 数 人 的 生命 ， 因 为 我 们 会 知道 应 该 隔离 谁 ， 而 且 随 
时 都 知道 去 哪里 找到 他 。 但 是 这 些 数据 一 旦 落 入 坏人 之 手 ， 后 果 将 不 堪 
设想 ， 这 个 问题 我 们 将 在 后 文中 继续 讨论 。 


伊 格 尔 是 无 线 数据 科技 公司 Jana 的 创始 人 ， 他 使 用 了 来 自 100 多 个 
国家 的 超过 200 个 无 线 运 营 商 的 手机 数据 一 一 履 关 了 拉丁 美洲 、 非 洲 、 
欧洲 的 大 约 35 亿 人 口 。 伊 格 尔 的 研究 既 关 注 家 寿 主 妇 平 均 每 周 去 几 次 洗 
衣 店 这 样 的 肥 旺 问题 ， 也 试图 回答 关于 疾病 如 何 传播 和 城市 如 何 索 荣 这 
样 的 重大 问题 。 在 一 项 研究 中 ， 他 和 同事 结合 分 析 了 非洲 预付 费用 户 的 
位 置信 息 和 他 们 账户 的 资费 金额 ， 友 现 资费 与 收入 成 正比 : AIA 
一 次 性 预付 费 越 多 。 然 而 ， 他 们 还 得 出 了 一 个 与 直觉 判断 相反 的 结果 ， 
那 就 是 贫民 窟 不 仅仅 是 永恒 不 变 的 贫困 中 心 ， 还 是 经 济 繁 来 的 跳板 。 关 
键 就 在 于 ， 我 们 要 意识 到 这 都 是 手机 所 提供 的 位 置信 息 的 间接 利用 ， 而 
和 移动 通信 自身 业务 没有 丝 曼 关系 ， 但 是 这 些 数 据 最 初 双 是 为 了 更 好 地 
开展 移动 通信 而 生成 的 。 总 之 ， 位 置信 息 一 被 数据 化 ， 新 的 用 途 就 犹如 
雨 后 春 算 般 涌现 出 来 ， 而 新 价值 也 会 随 之 不 断 众生。 


当 沟 通 变 成 数据 


数据 化 的 男 一 个 前 沿 更 加 个 人 化 ， 直 接触 措 到 了 我 们 的 关系 、 经 历 
和 情感 。 数 据 化 的 构思 是 许多 社交 网 络 公 司 的 消 梁 。 社 交 网 络 平台 不 仪 
给 我 们 提供 了 寻找 和 维持 朋友 、 同 事 关 系 的 场所 ， 也 将 我 们 日 常生 活 的 
无 形 元 素 提取 出 来 ， 再 转化 为 可 作 新 用 途 的 数据 。 正 因此 ，Facebook 将 
关系 数据 化 一 一 社交 关系 在 过 去 一 直 被 视 作 信息 而 存在 ， 但 从 未 被 正式 
































界定 为 数据 ， 直 到 Facebook“ 社 交 图 谱 ” 的 出 现 。Twitter 通 过 创新 ， 让 人 
们 能 轻易 记录 以 及 分 享 他 们 零散 的 想法 (这 些 在 以 前 ， 都 会 成 为 遗 态 在 
时 光 中 的 雁 片 ) ， 从 而 使 情绪 数据 化 得 以 实现 。LinkedIn 将 我 们 过 去 漫 
长 的 经 历 进行 了 数据 化 处 理 ， 就 像 莫 里 转化 旧 航 海 日 志 那 样 ， 把 信息 转 
我 们 可 以 认识 谁 ， 或 者 哪里 存在 一 份 心 仪 的 
工作 。 





然而 ， 数 据 的 使 用 还 远 未 成 熟 。 就 Facebook 的 情况 来 说 ， 因 为 知道 
太 早 泄露 用 户 数 据 的 许多 新 用 途 会 让 用 户 反 应 过 激 ， 所 以 它 精 明 地 选择 
了 忍耐 。 另 外 ， 公 司 仍 然 在 为 其 收集 的 数据 数量 和 类 型 ， 包 括 隐私 问题 
进行 商业 模式 和 政策 上 的 调整 。 目 前 ， 它 所 面 对 的 指 贡 都 集中 在 能 采集 
到 什么 ， 而 并 非 它 实际 用 这 些 数 据 干 了 什么 。 


大 数据 的 力量 


Facebook2012 年 拥有 大 约 10 亿 用 户 ， 他 们 通过 上 干 亿 的 朋友 关系 网 
相互 连接 。 这 个 巨大 的 社交 网 络 履 产 了 大 约 10% 的 全 球 总 人 口 。9 想 想 
这 所 有 的 关系 和 活动 在 数据 化 之 后 都 为 一 家 公司 所 掌控 ， 这 些 指 员 和 质 
疑 束 不 能 算 作 空 六 来 风 。 


不 可 否认 ， 其 潜在 用 途 非 比 寻常 。 一 些 消费 者 信贷 领域 的 创业 公司 
正 考虑 开发 以 Facebook 社 交 图 谱 为 依据 的 信用 评分 。FICO， 信 用 评分 系 
统 ， 利 用 15 个 变量 来 预测 单个 借贷 者 是 否 会 偿还 一 笔 债务 。 但 一 家 获得 
了 高 额 风 险 投 资 的 创业 公司 〈 很 遗憾 这 里 必须 匿名 ) 的 一 项 内 部 研究 显 
示 ， 个 人 会 偿还 债务 的 可 能 性 和 其 朋友 会 偿还 债务 的 可 能 性 呈正 相关 。 
正 应 了 一 句 老 话 : 物 以 类 聚 ， 人 以 群 分 。 因 此 ，Facebook 也 可 以 成 为 下 
一 个 FICO。 显 然 ， 社 交 媒 体 上 的 大 量 数据 也 许 能 形成 放飞 想象 的 新 型 
商务 基础 ， 其 意义 远 不 止 表 面 上 我 们 看 到 的 照片 分 享 、 状 态 上 传 以 
及 “喜欢 ”按钮 。 


同样 ，Twitter 也 已 经 开辟 了 其 数据 的 新 用 途 。 从 东 种 程度 上 说 ， 
2012 年 超过 1.4 亿 用 户 每 天 发 送 的 4 亿 条 微 博 几乎 就 和 随意 的 口头 零碎 差 
不 多 。 事 实 上 ， 它 们 通常 就 是 如 此 。 然 而 ，Twitter 公 司 实现 了 人 们 想 
法 、 情 绪 和 沟通 的 数据 化 ， 这 些 都 是 以 前 不 曾 实现 的 。Twitter 与 两 家 公 
司 ，DataSift 和 Gnip 达 成 了 一 项 出 售 数 据 访问 权限 的 协议 。 四 许多 公司 对 
微 博 做 了 句法 分 机 ， 有 时 还 会 使 用 一 项 叫 作 情 感 分 析 的 技术 ， 以 获得 顾 
客 肥 人 馈 意 见 的 汇总 或 对 营销 活动 的 效果 进行 判断 。 
































两 家 对 冲 基 金 ， 伦 敦 的 瑞 国 对 冲 基 金 (Derwent Capital) 和 加 利 福 
尼 亚 的 MarketPsych 开 始 分 析 微 博 的 数据 文本 ， 以 作为 股市 投资 的 信号 
《他 们 从 未 公开 自己 的 商业 秘诀 ， 也 不 知道 是 倾 癌 于 投资 势头 恨 好 的 公 
ELET) 。 两 家 公司 现在 都 在 同 经 商 者 出 售 信息 。 就 MarketPsych 
而 言 ， 它 与 Thomson Reuters 合 作 提供 了 分 布 在 119 个 国家 不 低 于 18864 项 
的 独立 指数 ， 比 如 每 分 钟 更 新 的 心情 状态 ， 如 乐观 、 忧 郁 、 快 乐 、 害 
怕 、 和 生气， 甚至 还 包括 创新 、 诉 讼 及 冲突 情况 等 。 


数据 被 人 类 利用 的 频率 远 没 有 被 计算 机 利用 得 多 。 以 “金融 工程 

师 ” 而 闻名 的 华尔街 的 数学 奇才 们 ， 将 数据 传输 到 了 他 们 的 算法 模式 当 
中 ， 来 寻找 能 被 有 效 利 用 并 实现 赢利 的 隐 性 联系 。 根 据 “* 社 交 网 络 分 析 
之 父 ” 贝 尔 纳 多 : 哈 柏 曼 (Bernardo Huberman) 乌 的 分 析 ， 微 博 中 单一 主 
题 出 现 的 频率 可 以 用 来 预测 很 多 事情 ， 比 如 好 莱 坞 的 票房 收入 。 他 和 一 
位 在 惠普 实验 室 工 作 的 同事 开发 了 一 个 程序 ， 可 以 用 来 监听 新 微 博 的 发 
布 频率 ， 基 于 此 ， 他 们 就 能 预测 一 部 电影 的 成 败 ， 这 往往 比 其 他 传统 评 
估 预 测 方法 还 要 准确 。 


这 些 数据 的 用 途 不 胜 枚 举 。Twitter 微 博 限 制 在 稀少 的 140 个 字符 
中 ， 但 与 每 条 微 博 联系 在 一 起 的 元 数据 是 十 分 丰 宇 的 。Twitter 的 元 数 
据 ， 即 “关于 信息 的 信息 ?”， 其 中 包括 33 个 分 离 的 项 。 虽 然 一 部 分 信息 似 
乎 并 没 多 大 用 人 处， 比如 Twitter 用 户 界 面 上 的 “ 增 纸 ” 或 用 户 用 来 访问 这 项 
服务 的 软件 ， 但 其 他 的 元 数据 却 很 有 意思 ， 比 如 他 们 参与 服务 所 使 用 的 
语言 、 所 处 的 地 理 位 置 、 关 注 的 人 以 及 粉丝 的 数量 和 名 字 。2011 年 《 科 
学 》 杂 志 上 的 一 项 研究 显示 ， 来 自 世 界 上 不 同文 化 背景 的 人 们 每 天 、 每 
周 的 心情 都 体 循 着 相似 的 模式 ， 这 项 研究 建立 在 两 年 多 来 对 84 个 国家 
240 万 人 的 5.09 亿 条 微 博 的 数据 分 析 上 ， 这 在 以 前 是 完全 无 法 做 到 的 。 
情绪 真 的 已 经 被 数据 化 了 。 


数据 化 不 仅 能 将 态度 和 情绪 转变 为 一 种 可 分 析 的 形式 ， 也 可 能 转化 
人 类 的 行为 。 这 些 行为 难以 跟踪 ,特别 是 在 较 大 的 社区 和 其 中 的 子 人 群 
环境 中 。 

大 数据 先锋 

微 博 关联 与 疫苗 接种 


来 自 宾 儿 法 尼 亚 州立 大 学 的 生物 学 家 马 塞 尔 ' 陵 拉 特 〈Marcel 
Salathé) 和 软件 工程 师 沙 先 元 坎 都 拉 斯 《Shashank Khandelwal) 通过 分 










































































析 微 博 用 现 ， 人 们 对 于 疫苗 的 态度 与 他 们 实际 注射 预防 流感 药物 的 可 能 
呈现 出 相关 性 。 重 要 的 是 ， 他 们 利用 Twitter 用 户 中 谁 和 谁 相关 的 元 数据 
进行 了 更 进一步 的 调 但 ， 发 现 未 接种 疫 盏 的 子 人 群 也 可 能 存在 。 当 然 ， 
这 项 研究 的 特别 之 处 在 于 ， 不 同 于 如 谷歌 预测 流感 趋势 时 利用 汇总 数据 
考虑 一 个 地 区 人 口 的 “平均 ?健康 状况 ， 蔷 拉 特 开展 的 情绪 分 析 实 际 上 揭 
As PAE aes 


这 些 早期 的 发 现 预示 了 数据 化 将 走 回 何方 。 和 谷歌 一 样 ， 一 些 社交 
网 络 (ùWHFacebook, Twitter, LinkedIn, Foursquare) 坐 拥 了 大 型 数据 的 
宝藏 ， 一 旦 这 些 数 据 信息 得 到 了 深入 分 析 ， 它 们 就 能 轻易 获得 社会 各 行 
各 业 以 及 三 教 九 流 的 几乎 所 有 的 动态 信息 。 


世间 万 物 的 数据 化 


只 要 一 点 想象 ， 万 干事 物 就 能 转化 为 数据 形式 ， 并 一 直 带 给 我 们 局 
喜 。IBM 获 得 的 “触感 扩 术 先导 ?专利 与 东 素 的 越 水 重臣 教授 对 璧 部 的 研 
完工 作 具 有 相同 理念 。 知 识 产 权 律 师 称 那 是 一 块 触感 过 敏 的 地 板 ， 融 像 
一 个 巨大 的 智能 手机 屏幕 。 其 潜在 的 用 途 十 分 广泛 。 生 能 分 辨 出 放置 其 
上 的 物品 。 它 的 基本 用 途 就 是 适时 地 开 灯 和 开门 。 然 而 更 重要 的 是 ， 它 
能 通过 一 个 人 的 体重 、 丫 姿 和 走路 方式 确认 他 的 吴 份 。 它 还 能 知道 菏 人 
在 摔 倒 之 后 是 否 一 直 没 有 站 起 来 。 有 了 和 它 ， 零 售 商 可 以 知道 商店 的 人 流 
量 。 当 地 板 数 据 化 了 的 时 候 ， 它 就 能 滋生 无 穷 无 尽 的 用 途 。 


其 实 没有 听 上 去 那么 欧 雇 。* 目 我 量化 是 一 项 由 一 群 健身 迷 、 医 学 
疡 子 以 及 技术 狂人 发 起 的 运动 ， 通 过 测量 身体 的 每 一 个 部 位 和 生活 中 的 
每 一 件 事 来 让 生活 更 美好 一 一 或 者 至 少 用 量化 的 方式 来 获得 新 知 。 目 
前 ， 自 我 量化 运动 规模 还 很 小 ， 但 正在 日 益 壮 大 。 


随 着 智能 手机 和 计算 机 技术 的 普及 ， 对 个 人 最 重要 的 生活 行为 进行 
数据 处 理 从 未 如 现在 这 般 容 易 。 许 多 创业 公司 通过 测量 人 们 夜间 的 脑 电 
波 来 试图 找 出 他 们 的 睡眠 模式 。Zeo 公 司 则 早已 制作 出 了 世界 上 最 大 的 
睡眠 活动 数据 库 ， 揭 示 了 男性 与 女性 睡眠 时 快速 眼 动 量 的 差异 。 
Asthmapolis 公 司 将 一 个 感应 吉 绑 定 到 哮喘 病人 佩戴 的 呼吸 器 上 ， 通 过 
GPS 定位 ， 再 汇总 收集 起 来 的 位 置 数据 ， 可 以 判断 环境 因素 〈 如 接近 特 
定 的 农作物 ) 对 哮 跨 的 影响 。Fitbit 和 Jawbone 公 司 让 人 们 测量 他 们 的 体 
力 活 动 和 睡眠。Basis 公 司 用 胶带 来 监测 佩戴 者 的 生命 体征 ， 包 括 其 心率 
和 皮肤 电 传 导 率 ， 以 此 测试 他 们 所 承受 的 压力 。2009 年 ， 苹 果 公 司 束 申 
请 了 一 项 专利 ， 通 过 音频 耳塞 收集 关于 血液 氧 合 、 心 率 和 体温 的 数据 。 












































获取 数据 正 变 得 比 以 往 任何 时 候 都 简单 而 不 受 限 制 。 


数据 化 能 帮助 我 们 获取 到 更 多 关于 人 体 运 作 方 式 的 信息 。 挪 威 耶 维 
克 大 学 的 研究 人 员 和 Derawi Biometrics 公 司 联合 为 智能 手机 开发 了 一 款 
应 用 程序 ， 可 以 分 析 人 走路 时 的 步伐 并 将 其 作为 手机 解锁 的 安全 系统 。 
同时 ， 佐 治 亚 理工 学 院 的 罗伯特 : 德 拉 话 (Robert Delano) #7 se R -YK 
尔 思 (Brian Parise) 开发 了 一 款 叫 做 iTrem 的 应 用 程序 ， 用 手机 内 置 的 
测 震 仪 监测 人 身体 的 颤动 ， 以 应 对 帕 金 本 和 其 他 神经 系统 疾病 。 这 个 程 
序 给 医生 和 病人 都 带 来 了 好 处 ; 它 让 患者 避免 了 在 医院 做 昂贵 的 体检 ， 
也 让 医学 专家 们 能 远程 监控 人 们 的 疾病 以 及 治疗 效果 。 据 东京 的 调查 人 
员 说 ， 用 智能 手机 测量 震动 虽然 没有 三 轴 测 震 仪 这 种 专门 的 医疗 堪 械 那 
么 精确 ， 但 也 只 差 了 一 点 ， 所 以 完全 可 以 放心 使 用 。 这 再 一 次 证 明 ， 一 
点 点 的 不 精确 比 完全 精确 更 有 效 。 


在 大 多 数 情况 下 ， 我 们 会 采集 信息 并 将 之 存储 为 数据 形式 再 加 以 利 
用 。 几 乎 所 有 领域 ,任何 事情 都 和 这 样 处 理 。 GreenGoose 是 一 家 创业 公 
司 ， 他 们 销售 能 放置 在 物品 上 的 微型 运动 感应 器 ， 用 它 监 测 物品 的 使 用 
次 数 。 比 如 把 它 放 置 在 一 捆 牙 线 、 一 个 酒水 过 或 者 一 盒 猎 食 上 ， 就 能 数 
据 化 牙 具 清洁、 植物 护理 以 及 宠物 喂养 的 信息 。 很 多 人 对 “ 物 联 网 ”有 着 
宗教 般 的 狂热 ， 试 图 在 一 切 生 活 中 的 事物 中 都 植 入 必 片 、 传 感 器 和 通信 
模块 。 这 个 词 听 起 来 好 像 和 互联 网 亲 如 姐妹 ， 其 实 不 过 是 一 种 典型 的 数 
WMFFRE. 


大 数据 洞察 


EER BST, 就 只 有 你 想不到 ， 而 没有 信息 做 不 到 的 事情 
了 。 更 里 通过 艰 半 的 人 工分 析 才 揭示 了 隐藏 在 数据 中 的 价值 ， 而 今天 ， 
my AEE HE) 以 及 必需 的 设备 《信息 处 理 器 
和 存储 器 ) ， 我 们 就 可 以 在 更 多 领域 、 更 快 、 更 大 规模 地 进行 数据 处 理 
Je 在 大 数据 时 代 ， 惊喜 无 处 不 在 ! 


我 们 正在 进行 一 个 重大 的 基础 设施 项 目 ， 它 在 茶 种 程度 上 与 我 们 过 
去 所 做 的 都 不 一 样 ， 无 论 是 罗马 的 水 渠 还 是 启蒙 运动 时 期 的 百科 全 书 。 
它 如 此 的 新 闫 ， 而 我 们 又 深 处 其 中 ， 同 时 ， 又 因为 它 古 无 形 的 ， 不 像 水 
渠 中 能 触 措 到 的 水 ， 所 以 我 们 并 未 意识 到 它 的 存在 。 这 个 它 ， 束 是 无 处 
ae 像 其 他 的 基础 设施 那样 ， 它 会 给 社会 市 来 根本 性 的 变 
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TRS EO ACR MA ATE, EINER Y aaas, FRAC EIR 
国家 的 兴起 葛 定 了 基础 。 但 这 些 基础 设施 都 侧重 于 流动 一 一 关于 水 、 关 
于 知识 。 电 话 和 互联 网 也 是 如 此 。 相 比较 而 言 ， 数 据 化 代表 看 人 类 认识 
的 一 个 根本 性 转弯。 有 了 大 数据 的 帮助 ， 我 们 不 会 再 将 世界 看 作 是 一 
连 串 我 们 认为 或 是 目 然 或 是 社会 现象 的 事件 ， 我 们 会 意识 到 本 质 上 世 
界 是 由 信息 构成 的 。 


整整 一 个 多 世纪 以 来 ， 物 理学 家 们 一 直 宣 称 情 况 应 该 是 这 样 的 一 一 
并 非 原子 而 是 信息 才 是 一 切 的 本 源 。 呈 不 可 否认 ， 这 也 许 听 上 去 无 法 理 
解 。 然 而 通过 数据 化 ， 在 很 多 情况 下 我 们 就 能 全 面 采集 和 计算 有 形 物 质 
和 无 形 物质 的 存在 ， 并 对 其 进行 处 理 。 


将 世界 看 作 信息 ， 看 作 可 以 理解 的 数据 的 海洋 ， 为 我 们 提供 了 一 
人 
界 观 。 


KBAR 


今天 ， 我 们 生活 在 一 个 计算 型 的 社会 ， 因 为 我 们 相信 世界 可 以 通过 
数字 和 数学 而 获得 解释 。 我 们 也 相信 知识 可 以 跨越 时 空 。 事 实 上 ， 我 们 
对 书写 还 存在 着 一 种 根深 蒂 固 的 敬 长 。 明 天 ， 我 们 的 下 一 代 ， 一 群 
被 “大 数据 观念 ”陶冶 长 大 的 家 伙 ， 会 发 目 肺 肺 地 认为 “量化 一 切 ? 并 从 中 
学 习 对 于 社会 是 至 关 重 要 的 。 把 各 种 各 样 的 现实 转化 为 数据 ， 对 今天 的 
我 们 而 言 也 许 是 新 奇 而 有 趣 的 ， 但 在 不 久 的 将 来 ， 这 将 变 成 如 同 吃饭 睡 
党 一 样 与 生 俱 来 的 能 这 又 让 我 想起 了 “数据 ”这 个 词语 的 拉丁 语 原 
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述 早 有 一 天 ， 数 据 化 的 影响 会 使 水 汇 和 报纸 的 影响 微乎其微 ， 同 
时 ， 通 过 赋予 人 类 数据 化 世间 万 物 的 工具 ， 它 也 对 印刷 机 和 互联 网 的 地 
位 提出 了 挑战 。 可 是 目前 ， 它 最 主要 的 用 途 还 是 在 商业 领域 。 大 数据 正 
被 用 来 创造 新 型 价值 ， 这 也 是 下 一 重 的 主题 。 











[1] 一 种 在 线 社 交 网 络 ， 其 典型 营销 方式 是 ， 一 旦 你 加 入 了 ， 系 统 
会 目 动 从 你 注册 或 关联 的 邮箱 中 找到 联系 人 ， 并 发 信 邀 请 他 们 加 入 。 很 
多 该 者 应 该 都 收 到 过 Linkedm 的 邀请 信 ， 就 是 一 个 典型 的 例子 。 一 一 译 
者 注 


2) 欧洲 人 没有 接触 过 东方 的 算盘 ， 后 来 证 明 这 是 很 有 利 的， 因为 
算盘 可 能 会 加 剧 罗 马 数 字 在 西方 的 盛行 。 一 一 作者 注 


[3] 所 谓 复式 记 账 法 ， 是 指 以 资产 与 权益 平衡 关系 作为 记 账 基础 ， 
对 于 每 一 项 经 济 业 务 ， 都 要 在 两 个 或 两 个 以 上 的 账户 中 相互 联系 进行 登 
记 ， 系 统 地 反映 资金 运动 变化 结果 的 一 种 记 账 方法 。 复 式 记 账 的 理论 依 
据 古 会 计 基 本 等 式 ， 即 “资产 = 负债 + 所 有 者 权益 ”。 一 一 诺 者 注 


[4] 文化 组 学 英文 叫 做 culturomics， 是 “文化 "和 “基因 组 学 ?两 个 词 的 
合并 。 本 书 中 提 到 的 哈佛 研究 组 是 文化 组 学 最 早 的 倡导 者 ， 其 核心 人 员 
Ya 2g - Alyy S TR (Erez Lieberman Aiden) 以 前 是 研究 基因 组 学 的 。 
一 一 译 者 注 


[5] 出 现 一 次 是 出 现 ， 出 现 一 亿 次 也 是 出 现 。 虽 然 有 一 半 以 上 的 词 
都 是 新 词 怪 词 ， 但 这 些 词 语 出 现 的 频率 很 低 ， 很 多 就 只 出 现 一 两 次 ， 
而 “the” 这 个 单词 就 出 现 了 数 百 亿 次 。 所 以 说 ， 绝 大 部 分 单词 还 是 我 们 认 
识 的 。 一 一 译 者 注 


[6] 由 于 是 犹太 人 ， 他 的 很 多 作品 都 被 查封 7 了。 一 一 作者 注 
[7] 通过 记录 和 分 析 北 京 市 出 租车 两 年 的 GPS 数 据 ， 微 软 亚洲 研究 


院 的 谢 笠 及 其 同事 可 以 癌 司 机 提供 不 同时 段 的 最 佳 出 行路 线 。 一 一 译 者 
He 


























[8] 人 类 动力 学 是 一 门 典型 的 大 数据 驱动 的 定量 化 学 科 ， 它 关注 人 
类 行为 在 时 间 和 空间 上 表现 出 来 的 统计 规律 ， 以 及 对 这 些 统计 规律 的 理 
论 解释 和 在 行为 预测 与 控制 上 的 应 用 。 科 学 出 版 社 2012 年 出 版 的 《社会 
动力 学 》 一 书 有 连续 6 篇 论文 综述 该 领域 的 主要 代表 方向 ， 可 供 参考 。 
译 者 注 


[9] 有 部 分 人 在 Facebook 上 拥有 多 于 一 个 账户 。 一 一 译 者 注 


E RS PA BE ATA, X firehose” AY V7 IH] A ti BEAT BE 
一 一 作者 注 


[1 贝尔 纳 多 : 哈 柏 受训 无 疑问 是 惠普 实验 室 最 有 影响 力 的 科学 家 
之 一 ， 但 是 “社会 网 络 之 父 ” 这 个 赞誉 还 是 有 些 不 同 寻 和 常 。 在 他 11 岁 的 时 
ik, JAERI (J.A.Barnes) 已 经 开始 系统 研究 社交 关系 ， 并 使 用 了 社 




















会 网 络 这 个 概念 ， 他 10 岁 到 14 岁 阶段 ， 正 是 兰 普 珀 特 〈A.Rapoport) 发 
展 关 于 社交 网 络 上 信息 和 资源 如 何 扩 散 、 哪 些 因 素 导 致 了 社交 关系 的 形 
成 、 如 何 用 随机 网 络 和 其 他 数学 方法 刻画 社交 网 络 等 一 系列 研究 的 关键 
时 间 ， 比 哈 相 受 更 资深 、 更 有 影响 力 的 社交 了 网络 学 者 还 有 很 多 ， 璧 如 林 
顿 'C. 弗 里 曼 (Linton Freeman) 、 马 克 : 格 兰 话 维特 (Mark 
Granovetter) 等 。 社 交 网 络 之 父 这 顶 帽 子 付 怕 不 应 该 戴 在 他 的 头 上 ， 尽 
管 他 塞 无 疑问 是 非常 杰 出 的 科学 家 。 译 者 注 


12] 通过 疯 读 Toyabe 等 人 在 《 目 然 . 物 理 》 上 发 表 的 名 
为 “上 Experimental demonstration of information-to-energy conversion and 
validation of the generalized Jarzynski equality” 一 文 必 会 加 深 读 者 对 该 问 
题 的 理解 。 一 一 译 者 注 








05 价值 :“ 取 之 不 尽 ， 用 之 不 竭 ” 的 数据 创新 


数据 就 像 一 个 神奇 的 钻石 太 ， 当 它 的 首要 价值 被 发 掘 后 仍 能 不 断 给 
。 它 的 真实 价值 就 像 漂 浮 在 海洋 中 的 冰山 ， 第 一 眼 只 能 看 到 冰山 的 一 
， 而 绝 大 部 分 都 隐藏 在 表面 之 下 。 


X K 


【大 数据 先锋 】 

IBM， 电 动 汽车 动力 与 电力 供应 系统 优化 预测 
Hitwise， 通 过 流量 判断 消费 者 喜好 
亚马逊 ， 让 数据 的 价值 再 大 一 点 

移动 运营 商 与 数据 再 利用 

谷歌 街景 与 GPS 采集 

微软 与 谷歌 的 拼写 检查 

谷歌 ， 从 大 的 “噪音 ”数据 中 受益 

巴 诺 与 NOOK 快 照 

在 线 教育 课程 ， 找 到 最 合适 阅读 的 论坛 帖子 


Facebook, 从 66 亿 到 1040 亿 








DataMarket 与 mnfoChimps， 提 供 免费 与 付费 数据 
ReCaptcha 与 数据 再 利用 


20 世 纪 90 年 代 后 期 ， 网 络 逐 渐变 得 拥堵 起 来 。 有 人 开发 了 一 球 名 
为 “Spambots” 的 垃圾 邮件 程序 软件 ， 向 成 干 上 万 名 用 户 批 量 友 送 广告 信 
恩 ， 淹 没收 件 人 的 电子 邮箱 。 他 们 会 在 各 种 网 站 上 注册 ， 然 后 在 评论 音 
分 留 下 成 百 上 千 条 广告 。 网 络 因此 成 了 一 个 不 守 规 矩 、 不 受 欢 迎 、 不 够 
友善 的 地 方 。 而 且 ， 这 种 软件 似乎 打破 了 网 络 原 有 的 开放 性 和 易 用 性 模 
式 ， 要 知道 ， 正 是 这 种 模式 同人 们 提供 了 各 种 便利 ， 比 如 免费 电子 邮 

















件 。 当 特 玛 捷 这 一 类 公司 根据 * 先 到 先 服务 的 原则 提供 演唱 会 门票 网 上 
订 票 服务 时 ， 作 粗 软 件 会 偷偷 摸 摸 跑 到 真正 排队 的 人 之 前 ， 将 门票 全 部 
买 下 


2000 年 ，22 岁 大 学 刚 毕 业 的 路 易 斯 : 冯 : 安 (Luis Von Ahn) 提出 了 
解决 这 个 问题 的 想法 : 要 求 注册 人 提供 真实 身份 证 明 。 他 试图 找 出 一 些 
人 类 容易 辨别 但 对 机 器 来 说 却 很 难 的 东西 ， 最 后 他 想到 了 一 个 办 法 ， 即 
在 注册 过 程 中 显示 一 些 波 浪 状 、 辨 识 度 低 的 字母 。 人 能 够 在 几 秒 钟 内 识 
别 并 输入 正确 的 文本 信息 ， 但 电脑 却 可 能 会 被 难 倒 。 雅 虎 采 用 了 这 个 方 
法 以 后 ， 一 夜 之 间 就 减轻 了 垃圾 邮件 带 来 的 苦恼 。 汉 : 安 将 他 的 这 一 创 
作 称 为 验证 码 (全称 为 “全 自动 区 分 计算 机 和 人 类 的 图 灵 测 试 *) 。 五 年 
后 ， 每 天 约 有 2 亿 的 验证 码 被 用 户 输 入 。 


这 一 切 给 冯 : 安 这 位 家 里 经 营 糖果 三 AEH ae A RR SAA Sea EY 
知名 度 ， 使 他 能 够 在 取得 博士 学 位 后 进入 卡 内 基 梅 隆 大 学 工作 ， 教 授 计 
算 机 科学 ; 也 使 他 在 27 岁 时 获得 了 50 万 美元 的 麦 元 阿 登 基金 会 < 天 才 
奖 ”。 但 是 ， 当 他 意识 到 每 天 有 这 么 多 人 要 浪费 10 秒 钟 的 时 间 输 入 这 堆 
和 
总 明 。 


于 是 ， 他 开始 寻找 能 使 人 的 计算 能 力 得 到 更 有 效 利用 的 方法 。 他 想 
到 了 一 个 继任 者 ， 恰 如 其 分 地 将 其 命名 为 ReCaptcha。 和 原 有 随机 字母 
输入 不 同 ， 人 们 需要 从 计算 机 光学 字符 识别 程序 无 法 识别 的 文本 扫描 项 
目 中 读 出 两 个 单词 并 输入 。 其 中 一 个 单词 其 他 用 户 也 识别 过 ， 从 而 可 以 
从 该 用 户 的 输入 中 判断 注册 者 是 人 ， 另 一 个 单词 则 是 有 待 辩 识 和 解疑 的 
新 词 。 为 了 保证 准确 度 ， 系 统 会 将 同一 个 模糊 单词 发 给 五 个 不 同 的 人 ， 
直到 他 们 都 输入 正确 后 才 确定 这 个 单词 是 对 的 。 在 这 里 ， 数 据 的 主要 用 
途 是 证 明 用 户 是 人 ， 但 它 也 有 第 二 个 目的 ， 破译 数字 化 文本 中 不 清楚 的 
单词 。ReCaptcha 的 作用 得 到 了 认可 ，2009 年 谷歌 收购 了 汉 : 安 的 公司 ， 
并 将 这 一 技术 用 于 图 书 扫描 项 目 。 


大 数据 的 力量 


与 座 用 人 所 需要 花费 的 成 本 相 比 较 ， 它 释放 出 的 价值 是 非常 巨大 
的 。 每 天 完成 的 ReCaptcha 超 过 2 亿 ， 按 平均 每 10 秒 输入 一 次 的 话 ， 一 天 
加 起 来 一 共 是 50 万 个 小 时 ， 而 2012 年 美国 的 最 低 工资 是 每 小 时 7.25 美 
元 。 从 市 场 的 角度 来 看 ， 解 疑 计算 机 不 能 识别 的 单词 每 天 需要 花费 约 
350 万 美元 ， 或 者 说 每 年 需要 花费 10 亿 多 美元 。 冯 : 安 设 计 的 这 个 系统 做 





















































到 了 这 一 点 ， 并 且 ， 没 有 花 一 分 钱 。 


ReCaptcha 的 故事 强调 了 数据 再 利用 的 重要 性 。 随 着 大 数据 的 出 
现 ， 数 据 的 价值 正在 发 生变 化 。 


KBE EE 


在 数字 化 时 代 ， 数 据 支 持 交 易 的 作用 被 掩盖 ， 数 据 只 是 被 交易 的 对 
象 。 而 在 大 数据 时 代 ， 事 情 再 次 发 生变 化 。 数 据 的 价值 从 它 最 基本 的 用 
途 转变 为 未 来 的 潜在 用 途 。 这 一 转变 意义 重大 ， 它 影响 了 企业 评估 其 拥 
有 的 数据 及 访问 者 的 方式 ， 促 使 甚至 是 迫使 公司 改变 他 们 的 两 业 模式 ， 
同时 也 改变 了 组 织 看 每 和 使 用 数据 的 方式 。 


言 轧 对 于 市 场 交 易 而 言 是 必 不 可 少 的 。 数 据 使 价格 发 现成 为 可 能 ， 
比如 众所周知 的 一 点 ， 它 是 决定 生产 数量 的 信号 。 一 些 特殊 类 型 的 信息 
也 早已 在 市 场 上 交易 ， 如 书籍 、 文 章 、 音 乐 、 电 影 以 及 金融 信息 《如 股 
票 价格 ) 等 。 这 些 在 过 去 的 几 十 年 中 已 经 通过 个 人 数据 加 入 数据 库 。 美 
国 的 专业 数据 经 纪 人 ， 如 安 客 诚 (Acxiom) . mA FAFSA K 
(Equifax) 每 ， 专 门 负 责 从 数 亿 名 消费 者 中 收集 个 人 信息 加 入 综合 档 
案 。 随 着 Facebook、Twitter、LinkedIn、Foursquare 等 社交 平台 的 出 现 ， 
ee ee en 


忆 之 ， 尺 管 数 据 长 期 以 来 一 直 是 有 价值 的 ， 但 通常 只 是 被 视 为 附属 
于 企业 经 营 核 心 业 务 的 一 部 分 ， 或 者 被 归 入 知识 产权 或 个 人 信息 中 相对 
狭 罕 的 类 别 。 但 在 大 数据 时 代 ， 所 有 数据 都 是 有 价值 的 。 


这 里 所 说 的 “< 所 有 数据 ”包含 了 那些 最 原始 的 、 看 似 最 平凡 的 信息 单 
位 。 想 一 想 工 三 机 器 上 热 传 感 句 的 读数 ，GPS 坐 标 上 的 实时 数据 流 ， 茶 
一 辆 或 者 60000 辆 车 的 加 速度 传感器 读数 和 燃料 水 平 。 再 想 想 数 十 亿 旧 
的 搜索 查询 ， 或 者 过 去 数 年 美国 每 趟 商务 航班 上 每 个 座位 的 价格 。 


但 是 ， 直 到 目前 仍然 没有 一 个 简单 的 方法 来 收集 、 存 储 和 分 析 这 些 
数据 ， 这 严重 限制 了 提取 其 潜在 价值 的 机 会 。 在 亚当 :斯 密 论 述 18 世 纪 
芭 动 分 工时 所 引用 的 普 名 的 大 尖 针 制造 案例 中 ， 监 督 员 需 要 时 刻 看 管 所 
有 工人 、 进 行 测 量 并 用 羽毛 笔 在 厚 纸 上 记 下 产 出 数据 ， 而 且 测 量 时 间 在 
当时 也 较 难 把 握 ， 因 为 可 徘 的 时 钟 都 尚未 普及 。 技 术 环 境 的 限制 使 古典 
经 济 学 家 在 经 济 构 成 的 认识 上 像 是 戴 了 一 副 波 镜 ， 而 他 们 却 几乎 没有 意 















































识 到 这 一 点 ， 就 像 鱼 不 知道 目 己 是 湿 的 一 样 。 因 此 ， 当 他 们 在 考虑 生产 
ER (CER, FIMEN) 时 ， 信 息 的 作用 严重 地 缺失 了 。 虽 然 在 过 
去 的 两 个 世纪 中 ， 数 据 的 采集 、 存 储 和 使 用 成 本 一 直 在 下 降 ， 但 直到 今 
天 也 仍然 维持 在 相当 昂贵 的 水 平 。 


我 们 所 处 的 时 代 之 所 以 与 众 不 同 ， 是 因为 数据 的 收集 不 再 存在 固有 
的 局 限 性 。 技 术 已 经 及 展 到 一 定 程度 ， 大 量 信息 可 以 被 廉价 地 捕捉 和 记 
录 。 数 据 经 第 会 得 到 被 动 地 收集 ， 和 人们 无 须 投 入 太 多 精力 甚至 不 需要 认 
识 这 些 数 据 。 而 且 ， 由 于 存储 成 本 的 大 幅 下 降 ， 保 存 数 据 比 丢弃 数据 更 











大 数据 的 力量 


在 过 去 的 50 年 中 ， 数 字 存 储 成 本 大 约 每 两 年 束 曾 减 一 半 ， 而 存储 密 
度 则 增加 了 5000 万 倍 。 


在 Farecast 或 谷歌 这 样 的 信息 公司 眼 里 ， 数 据 开 始 被 视 为 一 个 新 的 
原始 材料 在 数字 流水 线 的 一 端 输入 ， 而 处 理 后 的 信息 则 从 另 
一 端 输 出 。 


大 部 分 数据 的 直接 价值 对 收集 者 而 言 是 显而易见 的 。 事 实 上 ， 数 据 
通常 都 是 为 了 某 个 特定 的 目的 而 被 收集 商店 为 了 会 计 核 算 而 收集 销 
售 数据 ， 工 厂 为 了 确保 产品 符合 质量 标准 而 监控 输出 ， 网 站 记录 每 一 个 
用 户 点 击 ( 即 使 是 鼠标 光标 的 移动 ) 来 分 析 和 优化 其 呈现 给 访客 的 内 
容 。 数 据 的 基本 用 途 为 信息 的 收集 和 处 理 提供 了 依据 。 亚 蕊 述 同 时 记 
录 下 了 客户 购买 的 书籍 和 他 们 浏览 过 的 页 面 ， 便 可 以 利用 这 些 数 据 来 为 
客户 提供 个 性 化 的 建议 。 同 样 ，Facebook 跟 踪 用 户 的 “状态 更 新 "和 “ 喜 
好 ”， 以 确定 最 佳 的 广告 位 从 而 赚 取 收入 。 


不 同 于 物质 性 的 东西 ， 数 据 的 价值 不 会 随 着 它 的 使 用 而 减少 ， 而 
征 可 以 不 断 地 被 处 理 。 这 惑 是 经 讲学 家 所 谓 的 “ 非 竞 争 性 ?的 好 处 : 个 人 
的 使 用 不 会 妨碍 其 他 人 的 使 用 ， 而 且 信息 不 会 像 其 他 物质 产品 一 样 随 着 
使 用 而 有 所 耗损 。 因 此 ， 亚 马 逊 在 同 其 用 户 ， 不 论 是 生成 这 些 数据 的 客 
户 或 是 其 他 客户 做 出 建议 时 ， 都 可 以 不 断 地 使 用 过 去 的 交易 数据 。 
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数据 的 价值 并 不 仅 限 于 特定 的 用 途 ， 它 可 以 为 了 同一 目的 而 被 多 次 
使 用 ， 也 可 以 用 于 其 他 目的 。 要 了 解 大 数据 时 代 完 竟 有 多 少 信 息 对 我 们 
有 价值 ， 后 面 这 一 点 尤其 重要 。 


当 沃 尔 玛 检查 以 往 的 销售 数据 并 发 现 由 风 和 重 乓 销售 之 间 存 在 有 利 
可 图 的 关系 时 ， 这 种 潜力 的 一 部 分 已 经 得 到 实现 。 这 意味 着 数据 的 全 部 
价值 远 远大 于 其 最 初 的 使 用 价值 ， 也 意味 着 即使 首次 或 之 后 的 每 次 使 用 
都 只 春来 了 少量 的 价值 ， 但 只 要 数据 被 多 次 使 用 过 ， 企 业 仍 然 可 以 对 数 
据 加 以 有 效 利用 。 




















数据 的 “潜在 价值 ” 


想 知 道 数据 的 重复 使 用 对 其 终极 价值 有 什么 意义 吗 ? 来 看 看 电动 汽 
车 的 故事 吧 。 电 动 汽车 能 否 成 功 地 作为 一 种 交通 工具 成 功 普 及 ， 其 决定 
因素 多 如 牛 毛 ， 但 一 切 都 与 电池 的 寿命 相关 。 司 机 需要 能 够 快速 而 便捷 
地 为 汽车 电池 充电 ， 电 力 公司 需要 确保 提供 给 这 些 车 辆 的 电力 不 会 影响 
电网 运转 。 几 十 年 的 试验 和 错误 才 实现 了 现 有 加 油 站 的 有 效 分 配 ， 但 电 
动 汽车 充电 站 的 需求 和 设置 点 目前 还 不 得 而 知 。 


有 趣 的 是 ， 与 其 说 这 是 一 个 基础 设施 问题 ， 不 如 说 这 是 一 个 信息 问 
题 ， 因 为 大 数据 是 解决 方案 的 重要 组 成 部 分 。 


大 数据 先锋 
IBM， 电 动 汽车 动力 与 电力 供应 系统 优化 预测 


在 2012 年 进行 的 一 项 试验 中 ，IBM 曾 与 加 利 福 尼 亚 州 的 太平 洋 天 然 
气 与 电气 公司 以 及 汽车 制造 商 本 田 合 作 ， 收 集 了 大 量 信息 来 回答 关于 电 
动 汽车 应 在 何 时 何 地 获取 动力 及 其 对 电力 供应 的 影响 等 基本 问题 。 


基于 大 量 的 信息 输入 ， 如 汽车 的 电池 电量 、 汽 车 的 位 置 、 一 天 中 的 
时 间 以 及 附近 充电 站 的 可 用 插 槽 等 ，IBM 开 发 了 一 套 复 杂 的 预测 模型 。 
它 将 这 些 数据 与 电网 的 电流 消耗 以 及 历史 功率 使 用 模式 相 结合 。 通 过 分 
析 来 自 多 个 数据 源 的 巨大 实时 数据 流 和 历史 数据 ， 能 够 确定 司机 为 汽车 
电池 充电 的 最 佳 时 间 和 地 点 ， 并 揭示 充电 站 的 最 佳 设置 点 。 最 后 ， 系 统 
需要 考虑 附近 充电 站 的 价格 差异 ,即使 是 天 气 预 报 ， 也 要 考虑 到 。 例 
如 ， 如 果 是 晴天， 附近 的 太阳 能 供电 站 会 充满 电 ， 但 如 宋 预 报 未 来 一 周 
都 会 下 雨 ， 那 么 太阳 能 电池 板 将 会 被 闲置 。 









































系统 采用 了 为 某 个 特定 目的 而 生成 的 数据 ， 并 将 其 重新 用 于 另 一 个 
目的 ， 换 言 之 ， 数 据 从 其 基本 用 途 移动 到 了 二 级 用 途 。 这 使 得 它 随 着 时 
间 的 推移 变 得 更 有 价值 。 汽 车 的 电池 电量 指示 器 告诉 司机 应 当 何 时 充 
电 ， 电 网 的 使 用 数据 可 以 通过 设备 收集 到 ， 从 而 管理 电网 的 稳定 性 。 这 
些 都 是 一 些 基本 的 用 途 。 这 两 组 数据 都 可 以 找到 二 级 用 途 ， 即 新 的 价 
值 。 它 们 可 以 应 用 于 男 一 个 完全 不 同 的 目的 : 确定 何 时 何 地 充电 以 及 电 
子 汽车 服务 站 的 设置 点 。 在 此 之 上 ， 新 的 辅助 信息 也 将 纳入 其 中 ， 如 汽 
车 的 位 置 和 电网 的 历史 使 用 情况 。 而 且 ， 这 些 数据 不 只 会 使 用 一 次 ， 而 
aot 能 耗 和 电网 压力 状况 的 不 断 更 新 ， 一 次 又 一 次 地 为 
IBM o 


数据 的 真实 价值 就 像 漂浮 在 海洋 中 的 冰山 ， 第 一 眼 只 能 看 到 冰山 
而 绝 大 部 分 则 隐藏 在 表面 之 下 。 明 白 了 这 一 点 ， 那 些 创新 型 企 

业 就 能 够 提取 其 洪 在 价值 并 获得 潜在 的 巨大 收益 。 总 之 ， 判 断 数据 的 价 
值 需要 考虑 到 未 来 它 可 能 被 使 用 的 各 种 方式 ， 而 非 仅仅 考虑 其 目前 的 用 
途 。 在 我 们 强调 过 多 次 的 例子 中 这 一 点 体现 得 非常 明显 : Farecast 利 用 
机 票 销售 数据 来 预测 未 来 的 机 票 价格 ; Bie ee pr tle 
流感 的 传播 ， 麦 格雷 戈 博士 用 婴儿 的 生命 体征 来 预测 传染 病 的 发 生 ; 
里 重新 利用 老 船 长 的 日 志 而 发 现 了 洋流 。 


尽管 如 此 ， 数 据 再 利用 的 重要 性 还 没有 被 企业 和 社会 充分 认识 到 。 
纽约 联合 爱迪生 公司 的 高 管 中 很 少 有 谁 能 够 想到 ，19 世 纪 的 电线 信息 和 
工作 人 员 的 维修 记录 可 以 用 来 预防 未 来 事故 的 发 生 。 很 多 互联 网 和 科技 
公司 甚至 下 到 最 近 才 知道 数据 再 利用 具有 多 大 的 价值 。 要 解锁 这 些 数据 
价值 ， 就 必须 通过 新 一 代 统 计 人 员 的 不 懈 努 力 并 借助 新 一 代 的 方法 和 工 
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用 物理 学 家 解释 能 量 的 方法 或 许可 以 帮助 我 们 理解 数据 。 他 们 认为 
物体 拥有 ”储存 着 的 ?或 “ 洲 在 的 ”能量 ， 只 是 处 于 休眠 状态 ， 比 如 压 纵 了 
的 弹 赞 或 放置 在 小 山顶 的 小 球 。 这 些 物 体 中 的 能 量 是 隐藏 痢 的 、 淤 在 
的 ， 直 到 它们 被 释放 出 来 。 当 弹 得 被 释放 或 者 小 球 被 轻 伴 而 深 下 山坡 
时 ， 这 些 物体 的 能 量 束 变 成 了 “动能 ”因为 它们 在 移动 并 对 其 他 物体 施 
力 。 同 理 ， 在 基本 用 途 完成 后 ， 数据 的 价值 仍然 存在 ; 只 是 处 于 休眠 状 
AS, DUARTE DER PE, ABER AA FF PEE AE TE 
ee ee 创造 力 和 工具 ， 来 释放 数据 的 隐 

介 值 。 


大 数据 洞察 

















最 终 ， 数 据 的 价值 是 其 所 有 可 能 用 途 的 总 和 。 这 些 似乎 无 限 的 潜在 
用 途 就 像 是 选择 ， 这 里 不 是 指 金 融 工具 意义 上 的 选择 ， 而 是 实际 意义 上 
的 选择 。 这 些 选择 的 总 和 就 是 数据 的 价值 ， 即 数据 的 “潜在 价值 ”。 


WA, 一旦 数据 的 基本 用 途 实现 了 ， 我 们 便 认为 数据 已 经 达到 了 它 
的 目的 ， 准 备 将 其 删除 ， 让 它 就 此 消失 。 毕 葛 ， 数 据 的 首要 价值 已 经 得 
以 提取 。 而 在 大 数据 时 代 ， 数 据 就 像 是 一 个 神奇 的 销 石 太 ， 在 其 首要 价 
值 被 发 掘 之 后 仍 能 不 断 产 生 价值 。 数 据 的 潜在 价值 有 三 种 最 为 第 见 的 释 
BOTH: 基本 再 利用 、 数 据 集 整 合 和 寻找 “一 份 钱 两 份 货 ”。 而 数据 的 折 
旧 值 、 数 据 废气 和 开放 数据 则 是 更 为 独特 的 方式 。 


数据 创新 1: 数据 的 再 利用 


数据 创新 再 利用 的 一 个 典型 例子 是 搜索 关键 词 。 消 费 者 和 搜索 引擎 
之 间 的 瞬时 交互 形成 了 一 个 网 站 和 广告 的 列表 ， 实 现 了 那 一 刻 的 特定 功 
能 。 乍 看 起 来 ， 这 些 信 息 在 实现 了 基本 用 途 之 后 似乎 变 得 一 文 不 值 。 但 
是 ， 以 往 的 查询 也 可 以 变 得 非常 有 价值 。 有 的 公司 ， 如 数据 代理 益 百 利 
旗下 的 网 页 流量 测量 公司 Hitwise， 让 客户 采集 搜索 流量 来 揭示 消费 者 的 
喜好 。 通 过 Hitwise 营 销 人 员 可 以 了 解 到 粉红 色 是 否 会 成 为 今夏 的 潮流 
色 ， 或 者 黑色 是 否 会 回归 潮流 。 谷 歌 整 理 了 一 个 版 本 的 搜索 词 分 析 ， 公 
开 供 人 们 查询 ， 并 与 西班牙 第 二 大 银行 BBVA 合 作 推 出 了 实时 经 济 指标 
以 及 旅游 部 门 的 业务 预报 服务 ， 这 些 指标 都 是 基于 搜索 数据 得 到 的 。 英 
和 
条 情况 。 


大 数据 先锋 
亚 号 还 ， 让 数据 的 价值 再 大 一 后 


能 理解 数据 再 利用 重要 性 的 公司 以 惨痛 的 代价 换 来 了 经 验 教 训 。 
例如 ， 亚 马 逊 早期 与 AOL 达成 了 一 项 协议 ， 为 AOL 电子 商务 网 站 提供 后 
台 技 术 服 务 。 在 大 多 数 人 眼 里 ， 这 只 是 一 个 普通 的 外 包 协 议 ， 而 亚 马 过 
真正 的 用 意 在 于 掌握 用 户 的 数据 : 他 们 在 看 什么 、 买 什么 。“ 这 些 数据 
可 以 帮助 亚 马 进 提 蜗 它 的 推荐 引擎 性 能 。” 亚 号 还 前 首席 科学 家 韦 思 昱 
(Andreas Weigend) 一 语 道破 。 可 怜 的 AOL 从 来 没有 意识 到 这 一 点 ， 
只 看 到 了 销售 这 个 基本 用 途 所 带 来 的 利益 ;而 聪明 的 亚马逊 却 知 道 如 何 
从 二 次 利用 中 获 利 。 










































































再 来 看 另 一 个 例子 ， 谷 歌 在 2007 一 2010 年 之 间 计 划 在 本 地 搜索 列表 
中 加 入 GOOG 一 411 语 音 识 别 服务 ， 但 这 家 搜索 户头 并 没有 目 己 的 语音 
识别 技术 ， 因 此 急需 购买 许可 。 于 是 ， 谷 歌 与 该 领域 的 领导 者 Nuance 公 
司 达成 合作 协议 ， 这 家 公司 因为 搭 上 了 这 样 一 个 珍贵 的 客户 而 感到 十 分 
高 兴 。 但 Nuance 公 司 在 数据 方面 完全 是 个 十 足 的 答 和 掉 : 合同 中 没有 规定 
由 谁 来 保存 语音 翻译 记录 ! 于 是 谷歌 自己 保存 了 数据 。 这 些 数据 在 改进 
技术 方面 是 不 可 或 缺 的 ， 谷 歌 甚 至 据 此 从 头 创 建 了 一 个 新 的 语音 识别 服 
务 系统 。 当 时 Nuance 公 司 只 考虑 到 了 软件 许可 的 业务 交易 ， 而 忽视 了 数 
据 的 处 理 。 当 认识 到 上 自己 犯 下 的 错误 后 ， 它 立即 与 移动 运营 商 和 手机 制 
造 商 达成 其 语音 识别 服务 的 使 用 交易 ， 从 而 进行 数据 收集 。 


数据 再 利用 的 价值 对 于 那些 收集 或 控制 着 大 型 数据 集 但 目前 却 很 少 
使 用 的 机 构 来 说 是 个 好 消息 ， 比 如 在 那些 线 下 运作 的 传统 企业 。 他 们 或 
许 正 坐 在 尚未 开发 的 信息 喷 录 上 。 有 些 企业 可 能 已 经 收集 了 数据 并 使 用 
过 一 次 “如 宁可 能 的 话 ) ， 且 因为 存储 成 本 低 而 将 其 保存 了 下 来 ， 数 据 
科学 家 们 称 这 类 保存 旧 信 息 的 计算 机 为 "数据 坟墓”。 互 联网 和 科技 公司 
在 利用 海量 数据 方面 走 在 了 最 前 沿 ， 因 为 他 们 仅仅 通过 在 线 就 能 收集 大 
量 的 信息 ， 分 析 能 力也 领先 于 其 他 行业 。 但 是 ， 所 有 的 公司 都 可 能 会 从 
中 获 利 。 麦 肯 锡 的 咨询 顾问 们 列举 了 一 家 物流 公司 《名称 保密 ) 。 这 家 
公司 在 交付 货物 的 过 程 中 积累 了 大 量 产品 的 全 球 出 货 信 息 。 嗅 到 了 这 个 
机 会 之 后 ， 该 公司 成 立 了 专门 的 部 门 ， 以 商业 和 经 济 预 测 的 形式 出 售 汇 
总 数据 。 换 言 之 ， 它 创造 了 谷歌 过 去 搜索 查询 业务 的 一 个 线 下 版 本 。 


由 于 在 信息 价值 链 中 的 特殊 位 置 ， 有 些 公 司 可 能 会 收集 到 大 量 的 数 
据 ， 但 是 他 们 并 不 急需 使 用 也 并 不 擅长 再 次 利用 这 些 数 据 。 例 如 ， 移 动 
电话 运营 商 收 集 用 户 的 位 置信 息 来 传输 电话 信号 。 对 于 这 些 公司 来 说 ， 
数据 只 具有 狭 罕 的 技术 用 途 。 但 是 当 它 被 一 些 发 布 个 性 化 位 置 广告 服 务 
和 促销 活动 的 公司 再 次 利用 时 ， 则 变 得 更 有 价值 。 有 时 候 ， 数 据 的 价值 
并 非 来 自 于 单个 的 数据 值 ， 而 是 从 数据 汇总 中 体现 出 来 的 。 因 此 ， 
AirSage 和 Sense Networks 这 些 企业 会 出 售 诸如 人 们 周 五 晚上 聚集 在 哪里 
或 者 汽车 在 哪个 地 段 行驶 多 慢 等 信息 ， 这 种 信息 集合 可 以 用 来 确定 房 地 
产 价值 或 广告 牌 的 价格 。 


大 数据 先锋 
移动 运营 商 与 数据 再 利用 
如 宁 得 到 使 用 正确 ， 即 使 是 最 平凡 的 信息 也 可 以 具有 特殊 的 价值 。 






























































看 看 移动 运营 商 吧 : 他 们 记录 了 人 们 的 手机 在 何 时 何 地 连接 基站 的 信 

恩 ， 包 括 信号 的 强度 。 运 营 商 们 长 期 使 用 这 些 数据 来 微调 其 网 络 的 性 

能 ， 决 定 哪里 需要 添加 或 者 升级 基础 设施 。 但 这 些 数据 还 有 很 多 其 他 潜 
在 的 用 途 ， 比 如 手机 制造 商 可 以 用 它 来 了 解 影响 信号 强度 的 因素 ， 以 改 
善 手机 的 接收 质量 。 一 直 以 来 ， 处 于 隐私 保护 相关 法 律 的 限制 ， 移 动 运 
营 商 们 并 没有 用 这 些 数 据 来 谋取 利益 。 但 如 今 ， 伴 随 着 经 济 般 势 ， 它 们 
开始 逐渐 改变 立场 ， 认 为 数据 也 可 以 作为 其 利润 的 潜在 来 源 。2012 年 ， 

西班牙 电话 公司 (Telefonica of Spain) ， 一 家 国际 电讯 公司 ， 甚 至 创立 
了 独立 公司 Telefonica Digital Imsights 来 癌 零 售 商 和 其 他 买 家 出 售 其 收集 
到 的 匿名 用 户 位 置信 息 。 


数据 创新 2: 重组 数据 


有 了 时， 处 于 休眠 状态 的 数据 的 价值 只 能 通过 与 妨 一 个 截然 不 同 的 数 
据 集 结合 才能 释放 出 来 。 用 新 的 方式 混合 这 些 数 据 ， 我 们 可 以 做 出 很 有 
创意 的 东西 来 。 一 个 成 功 的 例子 是 2011 年 发 表 的 关于 手机 是 否 增加 致癌 
可 能 性 的 一 项 有 趣 的 研究 。 全 球 约 有 60 亿 部 手机 ， 几 乎 人 手 一 部 ， 因 而 
这 个 问题 是 至 关 重 要 的 。 人 们 做 了 大 量 的 研究 来 寻找 其 中 的 关联 ， 但 部 
受 困 于 各 种 障碍 : 样本 量 太 小 、 研 究 时 间 太 短 或 者 是 被 试 目 己 报告 的 数 
据 中 充满 错误 。 然 而 ， 丹 麦 六 症 协 会 的 研究 团队 基于 以 往 收集 的 数据 想 
出 了 一 个 有 趣 的 方法 。 


大 数据 先锋 
丹麦 癌症 协会 :手机 是 否 增 加 致癌 率 


丹麦 拥有 1985 年 手机 推出 以 来 所 有 手机 用 户 的 数据 库 。 这 项 研究 分 
析 了 1990 年 至 2007 年 间 拥 有 手机 的 用 户 ( 企 业 用 户 和 其 他 社会 经 济 数 据 
不 可 用 的 用 户 除外 ) ， 共 涉及 358403 人 。 该 国 同时 记录 了 所 有 癌症 患者 
的 信息 ， 在 那 期 间 共 有 10729 名 中 枢 神 经 系统 肿瘤 患者 。 结 合 这 两 个 数 
据 集 后 ， 研 究 人 员 开 始 寻 找 两 者 的 关系 : 手机 用 户 是 否 比 非 手 机 用 户 显 
示 出 较 高 的 癌症 发 病 率 ? 使 用 手机 时 间 较 长 的 用 户 是 否 比 时 间 较 短 的 用 
户 更 容易 串 上 癌症 ? 


尽管 研究 的 规模 很 大 ， 数 据 却 没 有 出 现 丝 坚 混 乱 或 含糊 不 清 。 为 了 
满足 医疗 或 商业 的 目的 ， 两 个 数据 集 都 采用 了 严格 的 质量 标准 ， 信 息 的 
WEAN TE Ei Ze FKE, BOR ETE SE AOA RA, SEHH É 
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数据 包含 了 所 有 的 情况 ， 这 意味 着 研究 人 员 和 掌握 了 各 种 亚 人 群 组 信息 ， 
比如 吸烟 人 群 。 


最 后 ， 研 究 没 有 发 现 使 用 移动 电话 和 癌症 风险 增加 之 间 存 在 任何 关 
系 。 因 此 ， 当 2011 年 10 月 研究 结果 在 《英国 医学 杂志 》 上 发 布 时 ， 并 未 
在 媒体 中 引起 任何 受 动 。 但 是 如 果 两 者 之 间 存 在 关联 的 话 ， 它 可 能 马上 
就 会 登 上 世界 各 地 的 头 版 头条 ， 而 “重组 数据 ”也 可 能 会 随 之 名 声 大 噪 。 


随 着 大 数据 的 出 现 ， 数 据 的 总 和 比 部 分 更 有 价值 。 当 我 们 将 多 个 
数据 集 的 总 和 重组 在 一 起 时 ， 重 组 总 和 本 身 的 价值 也 比 单个 总 和 更 
大 。 如 今 ， 互 联网 用 户 都 熟悉 基本 的 混搭 式 应 用 ， 即 将 两 个 或 多 个 数据 
源 以 一 种 新 颖 的 方法 结合 起 来 。 例 如 ， 房 地 产 网 站 Zillow.com 将 房地产 
信息 和 价格 添加 在 美国 的 社区 地 图 上 ， 同 时 还 聚合 了 大 量 的 信息 ， 如 社 
区 近期 的 交易 和 物业 规格 ， 以 此 来 预测 区 域内 具体 每 套 住宅 的 价值 。 


这 个 结果 极 具 指导 意义 ， 尺 省 通过 视觉 展示 使 得 数据 更 加 亲 和 且 非 
常 简 单 ， 但 采用 位 置信 息 并 将 其 置 于 地 图 上 毕竟 不 是 一 个 创造 性 的 发 
跃 。 随 着 大 数据 的 出 现 ， 我 们 可 以 走 得 更 远 ， 和 丹麦 的 瘤 症 研 究 就 为 我 们 
提示 了 更 多 的 可 能 性 。 


数据 创新 3: 可 扩展 数据 


促成 数据 再 利用 的 方法 之 一 是 从 一 开始 就 设计 好 它 的 可 扩展 性 。 虽 
然 这 不 总 是 可 能 的 ， 因 为 人 们 可 能 在 数据 收集 后 很 长 时 间 才 意识 到 这 一 
点 ， 但 的 确 有 一 些 方法 可 以 鼓励 相同 数据 集 的 多 种 用 途 。 例 如 ， 有 些 零 
售 商 在 店内 安装 了 监控 摄像 头 ， 这 样 不 仅 能 认 出 商店 扒手 ， 还 能 跟踪 在 
商店 里 购物 的 客户 流 和 他 们 停留 的 位 置 。 零 售 商 利用 后 面 的 信息 可 以 设 
计 店 面 的 最 佳 布局 并 判断 营销 活动 的 有 效 性 。 在 此 之 前 ， 监 控 摄 像 机 仅 
人 

9 投资。 


大 数据 先锋 
谷歌 街景 与 GPS 采集 


在 收集 数据 时 强调 扩展 性 方面 ， 谷 歌 毫 无 疑问 是 做 得 最 好 的 公司 之 
一 。 其 备 受 争议 的 街景 汽车 不 仅 拍摄 了 房屋 和 道路 的 照片 ， 还 同时 采集 












































GPS 数据 ， 检 碍 地 图 的 信息 ， 甚 至 还 加 入 了 无 线 网 络 名 称 《〈 以 及 通过 开 
放 无 线 网 络 的 内 容 ， 尽 管 这 可 能 是 非法 的 ) 。 一 辆 谷歌 街景 汽车 每 时 每 
刻 都 能 积累 大 量 的 离散 数据 流 。 这 些 数据 之 所 以 具有 可 扩展 性 ， 是 因为 
谷歌 不 仅 将 其 用 于 基本 用 途 ， 而 且 进 行 了 大 量 的 二 次 使 用 。 例 如 ，GPS 
数据 不 仅 优 化 了 其 地 图 服务 ， 而 且 对 谷歌 目 动 驾 驶 汽车 的 运作 功 不 可 
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收集 多 个 数据 流 或 每 个 数据 流 中 更 多 数据 点 的 额外 成 本 往往 较 低 ， 
因此 ， 收 集 尽 可 能 多 的 数据 并 在 一 开始 的 时 候 就 考虑 到 各 种 潜在 的 二 次 
用 途 并 使 其 具有 扩展 性 是 非常 有 意义 的 。 这 增加 了 数据 的 潜在 价值 。 问 
题 的 关键 是 寻找 “一 份 钱 两 份 货 "”， 即 如 果 以 茶 种 方式 收集 的 单一 数据 集 
有 多 种 不 同 的 用 途 ， 它 就 具有 双重 功能 。 


数据 创新 4: 数据 的 折旧 值 


随 着 数据 存储 成 本 的 大 幅 下 降 ， 企 业 拥 有 了 更 强 的 经 济 动 机 来 保存 
数据 ， 并 再 次 用 于 相同 或 类 似 的 用 途 。 但 是 ， 其 有 效 性 是 有 限 的 。 例 
如 ， 像 条 飞 和 亚马逊 这 类 公司 可 以 利用 客户 购买 的 产品 、 浏 览 的 页 面 和 
评论 来 推荐 新 的 产品 ， 他 们 可 能 会 年 复 一 年 、 一 所 又 一 遍地 使 用 这 些 数 
据 。 考 虑 到 这 一 氮 ， 人 们 可 能 会 认为 只 要 公司 不 被 隐私 保护 法 等 法 律 法 
规 所 限制 ， 残 应 该 永远 保存 这 些 数字 记录 ， 或 者 至 少 在 经 济 条 件 允 许 的 
情况 下 保存 这 些 记 录 。 然 而 ， 事 实 并 非 如 此 简单 。 


随 痢 时 间 的 推移 ， 大 多 数 数 据 都 会 失去 一 部 分 基本 用 途 。 在 这 种 情 
况 下 ， 继 续 依 赖 于 旧 的 数据 不 仪 不 能 增加 价值 ， 实 际 上 还 会 破坏 新 数据 
的 价值 。 比 如 十 年 前 你 在 亚马逊 买 了 一 本 书 ， 而 现在 你 可 能 已 经 对 它 完 
全 不 感 兴趣 。 如 果 亚 马 逊 继续 用 这 个 数据 来 器 你 推荐 其 他 书籍 ， 你 就 不 
太 可 能 购买 带 有 这 类 标题 的 书籍 ， 甚 至 会 担心 该 网 站 之 后 的 推荐 是 否 合 
理 。 这 些 推荐 的 依据 既 有 旧 的 过 时 的 信息 又 有 近期 仍然 有 价值 的 数据 ， 
而 旧 数 据 的 存在 破坏 了 新 数据 的 价值 。 


于 是 ， 亚 杞 还 决定 只 使 用 仍 有 生产 价值 的 数据 ， 这 就 需要 不 断 地 更 
新 数据 库 并 淘汰 无 用 信息 。 这 时 面临 的 挑战 就 是 如 何 得 知 哪些 数据 不 再 
有 价值 。 仅 仅 依据 时 间 来 判断 显然 不 够 ，% 因 此， 亚马逊 等 公司 建立 了 
复杂 的 模型 来 帮助 自己 分 离 有 用 和 无 用 的 数据 。 例 如 ， 如 果 客 户 浏 览 或 
购买 了 一 本 基于 以 往 购买 记录 而 推荐 的 书 ， 电 子 商 务 公 司 束 认为 这 项 旧 
的 购买 记录 仍然 代表 着 客户 的 喜好 。 这 样 ， 他 们 就 能 够 评价 有 旧 数 据 的 有 
用 性 ， 并 使 模型 的 “折旧 率 ” 更 具体 。 

















然而 ， 并 非 所 有 的 数据 都 会 贬值 。 有 些 公 司 提倡 尽 可 能 长 时 间 地 保 
存 数据 ， 即 使 监管 部 门 或 公众 要 求 它 们 短 时 间 内 删除 或 隐匿 这 些 信 息 。 
这 就 解释 了 为 什么 一 直 以 来 ， 谷 歌 痢 拒绝 将 互联 网 协议 地 址 从 旧 的 搜索 
查询 中 完全 删除 〈 它 只 是 在 18 个 月 后 删除 了 最 后 四 位 数 以 隐匿 搜索 得 
询 ) 。 谷 歌 希 望 得 到 每 年 的 同比 数据 ， 如 假日 购物 搜索 等 。 此 外 ， 通 过 
了 解 搜 索 者 的 位 置 ， 可 以 帮助 改善 搜索 结果 的 相关 性 。 例 如 ， 很 多 纽约 
人 都 会 搜索 “ 火 鸡 ”， 但 经 常会 搜索 到 与 “ 火 鸡 ”无 天 的 天 于 “土耳其 ”的 网 
页 (英文 中 “ 火 鸡 ”与 “土耳其 ” 同 为 turkey〉。 通 过 算法 可 以 将 他 们 想 要 
查看 的 页 面 放 在 排名 靠 前 的 位 置 ， 来 方便 其 他 纽约 人 人 查找。 即使 数据 用 
于 基本 用 途 的 价值 会 减少 ， 但 潜在 价值 却 依 然 强大 。 


大 数据 洞察 


潜在 价值 的 概念 表明 ， 组 织 机 构 应 收集 尽 可 能 多 的 使 用 数据 并 保存 
尽 可 能 长 的 时 间 。 同 时 也 应 当 与 第 三 方 分 享 数据 ， 前 提 是 要 保留 所 谓 
的 “延展 性 ”权利 (专利 许可 术语 ) 。 这 样 一 来 ， 由 数据 再 利用 而 产生 的 
任何 商业 价值 ， 原 始 数据 拥有 者 都 能 从 中 分 到 一 杯 北 。 数 据 收 集 者 和 拥 
有 者 无 法 想象 数据 再 利用 的 所 有 可 能 方式 ， 这 一 点 几乎 是 不 言 上 自明 的 。 


数据 创新 5: 数据 废气 


数据 再 利用 的 方式 可 以 很 巧妙 、 很 隐 贡 。 网 络 公司 可 以 捕 换 到 用 户 
在 其 网 站 上 做 的 所 有 事情 ， 然 后 将 每 个 离散 交互 当 作 一 个 “信号 ?”， 作 为 
网 站 个 性 化 、 提 高 服务 或 创建 全 新 数字 化 产品 的 反馈 。 两 个 关于 拼写 检 
碍 的 故事 给 我 们 提供 了 一 个 生动 的 解释 。 


大 数据 先锋 
微软 与 谷歌 的 拼写 检查 


在 过 去 的 20 多 年 中 ， 微 软 为 其 Word 软件 开 发 出 了 一 个 强大 的 拼写 
检查 程序 ， 通 过 与 频繁 更 新 的 字典 正确 拼写 相 比 较 来 对 用 户 键入 的 字符 
流 进 行 判 新 。 字 典 融 括 了 所 有 已 知 词汇 ， 系 统 将 拼写 相似 但 字典 中 没有 
的 词汇 判断 为 拼写 错误 ， 并 对 其 进行 纠正 。 由 于 需要 不 断 编 译 和 更 新 字 
典 ， 微 软 Word 的 拼写 检查 仅 适 用 于 最 常用 的 语言 ， 且 每 年 需要 花费 数 
百 万 美元 的 创建 和 维护 费用 。 


现在 再 来 看 看 谷歌 是 怎么 做 的 吧 。 可 以 说 ， 谷 歌 拥 有 世界 上 最 完整 









































的 拼写 检查 器 ， 基 本 上 涵盖 了 志 界 上 的 每 一 种 语言 。 这 个 系统 一 直 在 不 
断 地 完善 和 增加 新 的 词汇 ， 这 是 人 们 每 天 使 用 搜索 引擎 的 附加 结果 。 你 
输 错 了 iPad 吗 ? 不 要 紧 ， 它 在 那儿 呢 ; Obamacare 是 什么 ? Bk, HAA 
fa 
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天 处 理 的 30 亿 查询 中 输入 搜索 框 中 的 错误 拼写 。 一 个 巧妙 的 有 反馈 循环 可 
以 将 用 户 实 际 想 输 入 的 内 容 告知 系统 。 当 搜索 结果 页 面 的 顶部 显示 “你 
要 找 的 是 不 是 : 流行 病 学 * 时 ， 用 户 可 以 通过 扣 击 正确 的 术语 明确 地 “ 告 
诉 ” 谷 歌 自 己 需要 重新 查询 的 内 容 。 或 者 ， 直 接 在 用 户 访问 的 页 面 上 显 
示 正 确 拼写 的 结果 ， 因 为 它 很 可 能 与 正确 的 拼写 高 度 相 关 。 《这 实际 上 
比 看 上 去 更 有 意义 ， 因 为 随 痢 谷歌 拼写 检查 系统 的 不 断 完善 ， 人 们 即使 
没有 完全 精确 地 输入 但 询 内 容 也 能 够 获得 正确 的 查询 结果 。) 


谷歌 的 拼写 检查 系统 显示 ， 那 些 “ 不 合 标 准 ”、“ 不 正确 ”或 “有 人 缺 
陷 ” 的 数据 也 是 非常 有 用 的 。 有 趣 的 是 ， 谷 歌 并 不 是 第 一 个 有 这 种 拼写 
想法 的 公司 。2000 年 左右 ， 雅 虎 也 看 到 了 从 用 户 输 错 的 查询 中 创建 拼写 
检查 系统 的 可 能 性 ， 但 只 是 停留 在 了 想法 阶段 ， 并 未 付 诸 实践 。 旧 的 搜 
索 查 询 数 据 就 这 样 被 当成 了 垃圾 对 待 。 同 样 ，Infoseek 和 Alta Vista 这 两 
个 早期 流行 的 搜索 引擎 ， 虽 然 在 那个 年 代 都 拥有 世界 上 最 全 面 的 错别字 
数据 库 ， 但 他 们 未 懂得 欣赏 其 中 的 价值 。 在 用 户 不 可 见 的 搜索 过 程 中 ， 
他 们 的 系统 将 错别字 作为 “相关 词 ” 进 行 了 处 理 ， 但 是 它 的 依据 是 明确 告 
诉 系 统 对 与 错 的 字典 ， 而 不 是 鲜 活 的 、 有 生命 的 用 户 交 互 的 总 和 。 


只 有 谷歌 认识 到 了 用 户 交 互 的 雄 眉 实际 上 是 金粉 ， 收 集 在 一 起 就 能 
锻造 成 一 块 内 腕 的 金 元 宝 。 谷 歌 的 一 名 顶级 工程 师 估 计 ， 他 们 的 拼写 检 
查 需 性 能 比 微 软 至 少 高 出 一 个 数量 级 《虽然 他 在 采访 时 承认 这 并 没有 进 
行 过 可 靠 计 算 ) 。 他 还 别 关 了 "免费 ” 开 及 的 想法 一 一 虽然 原材料 拼写 
错误 都 是 免费 获得 的 ， 但 谷歌 在 系统 开发 上 的 花费 可 能 比 微软 要 多 得 
Bo "MRA W. 


这 两 家 公司 的 不 同 做 法 很 能 说 明 问 题 。 微 软 只 看 到 了 拼写 检查 作为 
文字 处 理 这 一 个 目的 的 价值 ， 而 谷歌 却 理解 了 其 更 深层 次 的 价值 。 不 仅 
利用 错别字 开发 了 世界 上 最 好 、 最 新 式 的 拼写 检查 器 来 提高 搜索 质量 ， 
而 且 将 其 应 用 于 许多 其 他 服务 中 ， 如 搜索 的 “ 目 动 完成 ”功能 、Gmail、 
谷歌 文档 甚至 翻译 系统 。 


一 个 用 来 描述 人 们 在 网 上 留 下 的 数字 轨迹 的 艺术 词汇 出 现 了 ， 这 就 












































是 “数据 废气 ”。 它 是 用 户 在 线 交 互 的 副产品 ， 包 括 浏览 了 哪些 页 面 、 
停留 了 多 和 久 、 鼠 标 光 标 停 留 的 位 置 、 输 入 了 什么 信息 等 。 许 多 公司 因 
此 对 系统 进行 了 设计 ， 使 自己 能 够 得 到 数据 废气 并 循环 利用 ， 以 改善 现 
有 的 服务 或 开发 新 服务 。 毋 良 置 疑 ， 谷 歌 是 这 方面 的 领导 者 ， 它 将 不 断 
地 “从 数据 中 学 习 ” 这 个 原则 应 用 到 许多 服务 中 。 用 户 执行 的 每 一 个 动作 
都 被 认为 是 一 个 “信号 ”， 谷 歌 对 其 进行 分 析 并 反馈 给 系统 。 


大 数据 先锋 
谷歌 ， 从 大 的 “噪音 ?数据 中 受益 


例如 ， 谷 歌 敏 锐 地 注意 到 ， 人 们 经 常 搜索 某 个 词 及 其 相关 词 ， 点 击 
进入 后 却 未 能 找到 想 要 的 信息 ， 于 是 又 返回 到 搜索 页 面 继续 搜索 。 它 知 
道人 们 点 击 的 是 第 1 页 的 第 8 个 链接 还 是 第 8 页 的 第 1 个 链接 ， 或 者 是 干脆 
放弃 了 所 有 搜索 点 击 。 谷 歌 不 是 第 一 个 洞 取 到 这 一 点 的 公司 ， 但 它 利 用 
这 一 点 并 取得 了 非凡 的 成 果 。 


这 些 信息 是 非常 有 价值 的 。 如 果 许 多 用 户 都 点 击 搜索 结果 页 底部 的 
链接 ， 就 表明 这 个 结果 更 加 具有 相关 性 ， 谷 歌 的 排名 算法 就 会 目 动 地 在 
随后 的 搜索 中 将 它 提 到 页 面 中 比较 徘 前 的 位 置 (广告 也 是 如 此 〉。 一 位 
谷歌 的 员工 次 :“ 我 们 喜欢 从 大 的 “噪音 :数据 集中 吸取 教训 。” 


数据 废气 是 许多 电脑 化 服务 背后 的 机 制 ， 如 语音 识别 、 世 圾 邮件 过 
滤 、 翻 译 等 。 当 用 户 指出 语音 识别 程序 误解 了 他 们 的 意思 时 ， 他 们 实际 
上 有 效 地 “训练 ”了 这 个 系统 ， 让 筷 变 得 更 好 。 


很 多 企业 都 开始 设计 他 们 的 系统 ， 以 这 种 方式 收集 和 使 用 信息 。 在 
Facebook 的 早期 ， 数 据 科 学 家 们 研究 了 数据 废气 的 丰富 信息 ， 发 现 人 们 
会 采取 某 种 行动 (如 回帖 、 点 击 图 标 等 ) 的 最 重要 的 预测 指标 束 是 他 们 
看 到 了 周围 的 朋友 也 在 这 么 做 。 紧 接着，Facebook 香 新 设计 了 它 的 系 
统 ， 使 每 个 用 户 的 活动 变 得 可 见 并 广播 出 去 ， 这 为 网 站 的 民 性 循环 做 出 
OR ee ae ene a ene 
任何 公司 。 


大 数据 先锋 


巴 诺 与 NOOK 快 照 
























































电子 书 阅 读 器 捕捉 了 大 量 关 于 文学 喜好 和 阅读 人 群 的 数据 : 读者 阅 
读 一 页 或 一 节 需 要 多 长 时 间 ， 读 者 是 略 读 还 是 直接 放弃 阅读 ， 读 者 是 否 
画 线 强调 或 者 在 空白 处 做 了 笔记 ， 这 些 他 们 都 会 记录 下 来 。 这 就 将 阅读 
这 种 长 期 被 视 为 个 人 行为 的 动作 转换 成 了 一 种 共同 经 验 。 一 旦 聚集 起 
来 ， 数 据 废气 可 以 用 量化 的 方式 同 出 版 商 和 作者 展示 一 些 他 们 可 能 永远 
都 不 会 知道 的 信息 ， 如 读者 的 好 和 恶 和 阅读 模式 。 这 是 十 分 具有 商业 价值 
的 。 电 子 图 书 出 版 公司 可 以 将 这 些 信息 卖 给 出 版 商 ， 从 而 帮助 改进 书籍 
的 内 容 和 结构 。 例 如 ， 巴 诡 通 过 分 析 Nook 电 子 阅 读 器 的 数据 了 解 到 ， 
人 们 往往 会 弃 读 长 篇 幅 的 非 小 说 类 书籍 。 公 司 从 中 受到 启发 ， 从 而 推 
出 “Nook 快 照 ?， 加 入 了 一 系列 健康 和 时 事 等 专题 的 短篇 作品 。 


Udacity、Coursera 和 和 EDX 等 在 线 教育 课程 通过 跟踪 学 生 的 Web 交 互 
来 寻找 最 佳 的 教学 方法 。 班 级 人 数 成 二 上 万 ， 产 生 的 数据 也 十 分 惊人 。 
教授 们 现在 可 以 看 到 ， 如 果 大 部 分 学 生 需 要 再 看 一 所 课程 内 容 ， 束 可 能 
表明 某 些 地 方 他 们 还 不 太 清 楚 。 在 斯 坦 福 大 学 教授 安德鲁 : 因 格 
(Andrew Ng) 讲授 的 Coursera 机 器 学 习 课 堂上 ， 他 注意 到 约 有 2000 名 
学 生 课外 作业 的 答案 是 错误 的 ， 但 错误 答案 居然 是 相同 的 。 显 然 ， 他 们 
都 犯 了 相同 的 错误 ， 那 么 是 什么 呢 ? 


随 大 一 点 点 的 调查 ， 他 终于 弄 清楚 了 ， 他 们 把 一 个 算法 里 的 两 个 代 
数 方程 弄 反 了 。58 所 以 如 果 现 在 还 有 其 他 学 生 犯 同样 错误 的 话 ， 系 统 不 
会 简单 地 告诉 他 们 做 错 了 ， 而 是 会 提示 他 们 去 检查 算法 。 这 个 系统 也 应 
用 了 大 数据 ， 通 过 分 析 学 生 看 过 的 每 个 论坛 帖子 以 及 他 们 是 人 否 正 确 完成 
读 外 作业 ， 来 预测 看 过 茶 个 帖子 之 后 的 学 生 正确 作答 的 概率 ， 并 由 此 来 
确定 哪些 论坛 帖子 最 适合 学 生 阅 读 。 这 些 都 是 过 去 很 难得 知 的 ， 现 在 却 
永远 地 改变 了 教学 方式 。 


数据 废气 可 以 成 为 公司 的 巨大 竞争 优势 ， 也 可 能 成 为 对 手 的 强大 进 
入 壁垒 。 试 想 ， 如 果 一 家 新 上 市 的 公司 设计 了 一 个 比 当今 行业 领先 者 
《如 亚 马 进 、 谷 歌 或 Facebook 等 ) 更 优秀 的 电子 商务 网 站 、 社 交 网 站 或 
搜索 引擎 ， 它 也 难以 同 对 手 苋 争 ， 这 不 仅 是 因为 其 经 济 规模 、 网 络 效 应 
或 品牌 价值 不 够 好 ， 而 是 因为 这 些 公 司 收集 了 来 自 客 户 交 互 的 数据 废气 
并 纳入 到 他 们 的 服务 中 。 一 个 新 的 在 线 教 育 网 站 有 能 力 与 一 个 已 经 具备 
庞大 数据 库 并 且 由 此 知道 什么 最 好 的 对 手相 抗衡 吗 ? 


数据 创新 6: 开放 数据 
如 今 ， 我 们 很 可 能 认为 谷歌 和 亚马逊 等 网 站 是 大 数据 的 先驱 者 ， 但 



























































事实 上 ， 政 府 才 是 大 规模 信息 的 原始 采集 者 ， 并 且 还 在 与 私营 企业 苋 争 
他 们 所 控制 的 大 量 数据 。 政 府 与 私营 企业 数据 持 有 人 之 间 的 主要 区 别 束 
是 ， 政 府 可 以 强迫 人 们 为 他 们 提供 信息 ， 而 不 必 加 以 说 服 或 支付 报酬 。 
因此 ， 政 府 将 继续 收集 和 积累 大 量 的 数据 。 


大 数据 对 于 公共 部 门 的 适用 性 同 对 商业 实体 是 一 样 的 ， 大 部 分 的 数 
据 价 值 都 是 潜在 的 ， 需 要 通过 创新 性 的 分 析 来 释放 。 但 是 ， 由 于 政府 在 
获取 数据 中 所 处 的 特殊 地 位 ， 因 此 他 们 在 数据 使 用 上 往往 效率 很 低 。 最 
近 有 一 个 想法 得 到 了 公认 ， 即 提取 政府 数据 价值 最 好 的 办 法 是 允许 私营 
部 门 和 社会 大 众 访 问 。 这 其 实 是 基于 一 个 原则 : 国家 收集 数据 时 代表 的 
是 其 公民 ， 因 此 它 也 理应 提供 一 个 让 公民 查看 的 入 口 ， 但 少数 可 能 会 危 
害 到 国家 安全 或 他 人 隐私 权 的 情况 除外 。 


这 种 想法 让 “开放 政府 数据 ”的 倡议 啊 彻 全 球 。 开 放 数 据 的 倡导 者 主 
张 ， 政 府 只 是 他 们 所 收集 信息 的 托管 人 ， 私 营 部 门 和 社会 对 数据 的 利用 
会 比 政府 更 具有 创新 性 。 他 们 呼吁 建立 专门 的 官方 机 构 来 公布 民用 和 商 
业 数 据 ;， 而 且 数据 必须 以 标准 的 可 机 读 形式 展现 ， 以 方便 人 们 处 理 。 合 
则 ， 信 息 的 公开 只 会 是 徒 有 虚名 。 


2008 年 1 月 21 日 ， 奥 巴 蕊 总 统 在 就 职 的 第 一 天 发 表 了 一 份 总 统 备 契 
录 ， 命 令 美 国联 邦 机 构 的 负责 人 公布 尽 可 能 多 的 数据 ， 这 使 开放 政府 数 
据 的 想法 取得 了 极 大 的 进展 。“ 面 对 怀疑 ， 公 开 优 先 。” 他 这 样 指 示 道 。 
这 真是 一 个 了 不 起 的 声明 ， 特 别 是 与 那些 作出 相反 指令 的 前 任 们 相 比 。 
奥巴马 的 指令 促成 了 data.gov 网 站 的 建立 ， 这 是 美国 联邦 政府 的 公开 信 
县 资料 库 。 网 站 从 2009 年 的 47 个 数据 集 迅 速 发 展 起 来 ， 到 2012 年 7 月 三 
周年 时 ， 数 据 集 已 达 45 万 个 左右 ， 涵 盖 了 172 个 机 构 。 


即使 是 在 严谨 的 英国 9， 现 在 也 出 现 了 实质 性 的 转变 。 英 国政 府 已 
经 颁布 相关 规定 喜 励 信息 公开 ， 并 支持 创建 由 万 维 网 的 发 明 者 带 姆 : 伯 
纳 斯 (Tim Berners-Lee) 参与 指导 的 开放 式 数据 中 心 ， 这 一 举措 促进 了 
开放 数据 的 新 用 途 并 将 数据 从 国家 手中 解放 出 来 。 


欧盟 宣布 开放 数据 的 举措 很 快 也 会 过 及 整个 欧洲 。 其 他 国家 ， 如 澳 
大 利 亚 、 巴 西 、 智 利 等 也 相继 出 人 台 并 实施 了 开放 数据 策略 。 同 时 ， 世 界 
各 地 越 来 越 多 的 城市 和 地 区 也 已 经 加 入 开放 数据 的 热潮 ， 一 些 国 际 组 织 
也 是 如 此 ， 世 界 银行 束 公 开 了 数 百 个 之 前 被 限制 的 天 于 经 济 和 社会 指标 
方面 的 数据 集 。 






































同时 ， 各 种 Web 开 发 人 员 和 富有 远见 的 思 a 
大 化 开放 数据 价值 ， 如 美国 的 阳光 基金 会 和 英国 的 开放 知识 基金 


大 数据 先锋 
FlyOnTime 的 航班 时 间 预 测 


开放 数据 早期 的 一 个 例子 ， 来 自 美 个 叫 FlyOnTime.us 的 网 站 。 
人 们 可 以 交互 地 (从 许多 其 他 相互 关系 中 〉 判断 恶劣 天 气 使 菜 一 特定 机 
场 的 航班 延迟 的 可 月 E 性 有 多 大 。 该 网 站 结合 了 航班 信息 和 互联 网 免费 提 
供 的 官方 天 气 预报 。 它 是 由 开放 数据 的 倡导 者 开发 的 ， 由 此 来 说 明美 国 
联邦 政府 所 积累 信息 的 实际 使 用 价值 。 不 仅 数 据 是 免费 提供 的 ， 而 且 软 
件 代码 也 是 开放 源 代码 ， 可 供 人 们 学 习 和 再 次 利用 。 


FlyOnTime.us 让 数据 说 话 ， 并 且 经 常 语 出 惊人 。 人 们 可 以 看 到 ， 从 
波士顿 到 纽约 拉 瓜 迪 亚 机 场 的 航班 因 大 筋 延 迟 的 时 间 是 因 雪 延迟 的 两 
倍 。 当 人 们 在 候 机 室 逗 留 时 ， 大 部 分 人 可 能 都 料想 不 到 这 一 点 ， 因 为 他 
们 通常 认为 雪 才 是 使 豚 班 延迟 更 重要 的 原因 。 正 是 大 数据 给 了 人 们 这 和 
洞察 力 ， 只 要 将 交通 运输 局 的 历史 航班 延误 数据 和 美国 联邦 航空 
的 机 场 信息 ， 以 及 美国 国家 海洋 和 大 管理 局 的 以 入 天 气 报告 和 国家 气 
象 服务 的 实时 状态 结合 起 来 ， 就 能 揭示 这 一 切 。FlyOnTime.us 充 分 体现 
了 一 个 不 收集 或 控制 信息 的 实体 单位 是 如 何 像 搜索 引 敬 或 大 零售 商 一 
样 ， 能 够 获取 数据 并 利用 其 创造 价值 。 


给 数据 估 值 


无 论 是 同 公众 开放 还 是 将 其 锁 在 公司 的 保险 库 中 ， 数 据 的 价值 都 难 
以 衡量 。 来 看 看 2012 年 5 月 18 日 星期 五 发 生 的 事 吧 。 这 一 天 ，28 岁 的 
Facebook 创 始 人 马克 : 扎 克 伯 格 (Mark ” Zuckerberg) 在 位 于 美国 加 利 福 
尼 亚 州 门 洛 帕 殉 市 的 公司 总 部 ， 象 征 性 地 敲 啊 了 纳 斯 达 殉 的 开盘 钟 。 这 
家 宣称 全 球 约 每 十 人 中 就 有 一 人 是 其 用 户 的 全 球 最 大 社交 网 络 公 司 ， 开 
启 了 其 作为 上 市 公司 的 征程 。 


和 很 多 新 科技 股 的 第 一 个 上 市 交易 日 一 样 ， 公 司 股价 立即 上 涨 了 
11%， 翻 倍增 长 甚至 已 经 近 在 眼前 。 然 而 就 在 这 一 天 ， 怪 事 肥 生 了 。 
Facebook 的 股价 开始 下 跌 ， 期 间 纳 斯 达 殉 的 电脑 因 出 现 技 术 故 障 曾 和 暂停 
交易 ， 但 仍然 于 事 无 补 ， 情 况 甚 至 更 加 有 恶化。 感到 异常 的 股票 承销 商 在 
摩根 士 丹 利 的 带领 下 ， 不 得 不 文 撑 股 价 ， 节 终 以 略 高 于 发 行 价 收盘 。 
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上 市 的 前 一 晚 ， 银 行 对 Facebook 的 定价 是 每 股 38 美 元 ， 总 估 值 1040 
亿美 元 〈 也 就 是 说 ， 大 约 是 波音 公司 、 通 用 汽车 和 戴尔 电脑 的 市 值 之 
Al) 。 那 么 事实 上 Facebook 价 值 多 少 呢 ? 在 2011 年 供 投资 者 评估 公司 的 
审核 账目 中 ，Facebook 公 布 的 资产 为 66 亿 美元 ， 包 括 计 算 机 人 硬件、 专利 
和 其 他 实物 价值 。 那 么 Facebook 公 司 数据 库 中 存储 的 大 量 信息 ， 其 账面 
价值 是 多 少 昵 ? 堆 。 它 根本 没有 被 计 入 其 中 ， 尽 管 除了 数据 ，Facebook 
J 相信 


这 令 人 菲 夷 所 思 。 加 特 纳 市 场 研 究 公 司 (Gartner〉 的 副 总 裁 道 格 : 
KJE (Doug Laney) 研究 了 Facebook 在 IPO 前 一 段 时 间 内 的 数据 ， 估 算 
出 Facebook 在 2009 年 至 2011 年 间 收 集 了 2.1 万 亿 条 “ 获 利 信息 ”， 比 如 用 户 
的 “喜好 ” 发 布 的 信息 和 评论 等 。 与 其 IPO 估 值 相 比 ， 这 意味 着 每 条 信 
妃 〈 将 其 视 为 一 个 离散 数据 点 ) 都 有 约 4 美 分 的 价值 。 也 融 是 说 ， 每 一 
户 的 价值 约 为 100 美 元 ， 因 为 他 们 是 Facebook 所 收集 信息 
和 提供 者 。 


那么 ， 如 何 解释 Facebook 根 据 会 计 准 则 计算 出 的 价值 ( 约 63 亿 美 
元 ) 和 最 初 的 市 场 估 值 “1040 亿美 元) 之 间 会 产生 如 此 巨大 的 差距 呢 ? 
目前 还 没有 很 好 的 方法 能 解释 这 一 点 。 然 而 人 们 普 遇 开始 认为 ， 通 过 得 
看 公司 “账面 价值 ”〈 大 部 分 是 有 形 资产 的 价值 ) 来 确定 企业 价值 的 方 
法 ， 已 经 不 能 充分 反映 公司 的 真正 价值 。 事 实 上 ， 账 面 价值 与 “市场 价 
值 ”〈 即 公司 被 买 断 时 在 股票 市 场 上 所 获 的 价值 ) 之 间 的 差距 在 这 几 十 
年 中 一 直 在 人 不断 地 扩大 。 美 国 参 议院 甚至 在 2000 年 举行 了 关于 将 现行 财 
务 报告 模式 现代 化 的 听证 会 。 现 行 的 财务 报告 模式 始 于 20 世 纪 30 年 代 ， 
当时 信息 类 的 企业 几乎 不 存在 。 现 行 财务 报表 模式 与 现状 的 差异 不 仅 会 
影响 公司 的 资产 负债 表 ， 如 果 不 能 正确 评估 企业 的 价值 ， 还 可 能 会 给 企 
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公司 账面 价值 和 市 场 价值 之 间 的 差额 被 记 为 “无 形 资产 >”。20 世 纪 
80 年 代 中 期 ， 无 形 资 产 在 美国 上 市 公司 市 值 中 约 占 40%， 而 在 2002 年 ， 
这 一 数字 已 经 增长 为 75%。 无 形 资产 早期 仅 包含 品牌 、 人 才 和 战略 这 些 
应 计 入 正规 金融 会 计 制 度 的 非 有 形 资 产 部 分 。 但 渐渐 地 ， 公 司 所 持 有 和 
使 用 的 数据 也 渐渐 纳入 了 无 形 资产 的 范畴 。 


最 终 ， 这 意味 着 目前 还 找 不 到 一 个 有 效 的 方法 来 计算 数据 的 价值 。 
Facebook 开 盘 当 天 ， 其 正规 金融 资产 与 其 未 记录 的 无 形 资产 之 间 相 差 了 
近 1000 亿 美元 ， 差 距 几乎 是 20 倍 ! 太 可 笑 了 。 但 是 ， 随 着 企业 找到 在 资 
产 负 债 表 上 记录 数据 资产 价值 的 方法 ， 这 样 的 差距 有 一 天 也 必 将 消除 。 
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一 位 高 级 管理 人 员 透 露 说 ， 数 据 持 有 人 在 认识 到 数据 的 巨大 价值 之 后 会 
研究 是 否 在 正式 的 会 计 条 球 中 将 其 作为 企业 的 资产 。 但 是 ， 一 旦 公司 的 
律师 得 知 此 事 ， 便 会 加 以 阻止 。 因 为 把 数据 计 入 账面 价值 可 能 会 使 该 公 
司 承 担 法 律 黄 任 ， 律 师 们 并 不 认为 这 是 一 个 好 主意 。 


同时 ， 投 资 者 也 开始 注意 到 数据 的 潜在 价值 。 拥 有 数据 或 能 够 轻松 
收集 数据 的 公司 ， 其 股价 会 上 涨 ; 而 其 他 不 太 幸 运 的 公司 ， 束 只 能 眼看 
者 目 己 的 市 值 缩 水 。 因 为 这 种 状况 ， 数 据 并 不 要 求 其 价值 正式 显示 在 资 
产 负 债 表 中 。 尺 管 做 起 来 有 困难 ， 市 场 和 投资 者 还 是 会 给 这 些 无 形 资 产 
估价 ， 所 以 Facebook 的 股价 在 最 初 的 几 个 月 中 一 直播 摆 不 定 。 但 随 独 会 
计 鹤 境 和 责任 问题 得 到 缓解 ， 几 乎 可 以 肯定 数据 的 价值 将 显示 在 企业 的 
资产 负债 表 上 ， 成 为 一 个 新 的 资产 类 别 。 


那么 ， 如 何 给 数据 估 值 呢 ? 茂 然 ， 计 算 价值 不 再 是 将 其 基本 用 途 简 
单 地 加 总 。 但 是 如 果 数 据 的 大 部 分 价值 都 是 潜在 的 ， 需 要 从 未 知 的 二 次 
利用 提取 ， 那 么 人 们 目前 尚 不 清楚 应 该 如 何 估 算 它 。 这 个 难度 类 似 于 在 
20 世 纪 70 年 代 布 羔 殉 - 舒 尔 斯 期 权 定价 理论 出 现 前 金融 衍生 品 的 定价 。 
它 也 类 似 于 为 专利 估 值 ， 因 为 随 着 各 种 拍卖 、 交 流 、 私 人 销售 、 许 可 和 
大 量 诉 讼 的 出 现 ， 一 个 知识 市 场 正在 逐渐 兴起 。 如 果 不 出 意外 ， 给 数据 
的 潜在 价值 贴 上 价格 标签 会 给 金融 部 门市 来 无 限 商 机 。 


一 个 办 法 是 从 数据 持 有 人 在 价值 提取 上 所 采取 的 不 同 集 略 入 手 ， 
最 常见 的 一 种 可 能 性 就 是 将 数据 授权 给 第 三 方 。 在 大 数据 时 代 ， 数 据 
持 有 人 倾 问 于 从 被 提取 的 数据 价值 中 抽取 一 定 比例 作为 报酬 文 付 ， 而 不 
古训 定 一 个 固定 的 数额 。 这 有 点 类 似 于 出 版 商 从 书籍 、 音 乐 或 电影 的 获 
利 中 抽取 一 定 比例 ， 作 为 文 付 给 作者 和 表演 者 的 特许 权 使 用 费 ， 也 类 似 
于 生物 技术 行业 的 知识 产权 交易 ， 许 可 人 要 求 从 基于 他 们 技术 成 果 的 所 
有 后 续 发 明 中 抽取 一 定 比例 的 技术 使 用 费 。 这 样 一 来 ， 各 方 都 会 努力 使 
数据 再 利用 的 价值 达到 最 大 。 然 而 ， 由 于 被 许可 人 可 能 无 法 提取 数据 全 
部 的 潜在 价值 ， 因 此 数据 持 有 人 可 能 还 会 同时 问 其 他 方 授 权 使 用 其 数 
据 ， 两 边 下 注 以 避免 损失 。 因 而 , “数据 滥 交 ” 可 能 会 成 为 一 种 常态 。 


一 些 试 图 给 数据 定价 的 市 场 如 雨后春笋 般 出 现 。2008 年 在 冰岛 成 立 
的 DataMarket 向 人 们 提供 其 人 机构 〈 如 联合 国 、 世 界 银行 和 欧盟 统计 局 
等 ) 的 免费 数据 集 ， 靠 倒卖 商业 供应 商 《〈 如 市 场 研究 公司 ) 的 数据 来 获 
利 。 另 一 家 新 创办 的 公司 ImfoChimps， 其 总 部 设 在 得 殉 陡 斯 州 奥 斯 汀 
市 ， 希望 成 为 一 个 信息 中 间 人 ， 供 第 三 方 以 免费 或 付费 的 方式 共享 他 们 
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样 ， 这 些 科技 创业 公司 想 为 任何 手中 拥有 数据 的 人 提供 一 个 出 售 数据 的 
平台 。 例 如 ，Import.io 辟 励 公司 授权 别人 使 用 目 己 于 中 的 数据 ， 不 然 别 
人 也 可 以 从 网 上 免费 收集 到 这 些 数据 。 谷 歌 的 前 员工 吉尔 : 挨 尔 巴 效 
(Gil Elbaz) 创办 的 Factual 收 集 数据 ， 然 后 制 成 数据 库 供需 要 者 使 用 。 


微软 也 带 着 它 的 Windows Azure DataMarket 登 上 了 历史 有 舞台。 它 的 
目标 是 专注 高 质量 的 数据 和 监督 所 提供 的 产品 ， 其 方式 和 苹果 公司 监督 
其 应 用 程序 商店 中 的 产品 类 似 。 微 软 假设 ， 一 位 销售 主管 在 准备 Excel 
表格 时 可 能 还 需要 做 一 份 公司 内 部 数据 和 来 自 经 济 顾 问 的 GDP 增 长 预测 
那么 她 只 要 点 击 想 要 购买 的 数据 ， 后 者 将 瞬间 出 现在 她 的 电 
脑 屏 幕 上 。 


到 目前 为 止 ， 没 有 人 知道 估 值 模型 将 发 挥 出 怎样 的 作用 。 
定 的 是 ， 经 济 正 渐渐 开始 围绕 数据 形成 ， 很 多 新 玩家 可 以 从 中 受益 ， 
一 些 资深 玩家 则 可 能 会 找到 令 人 惊讶 的 新 生机 。 eae ke 
HRR ay at SAI] (Tim O&apos; Reilly) 的 话 来 说 就 是 ,， “数据 
是 一 个 平台 ”， 因 为 数据 是 新 产品 和 新 商业 模式 的 基石 。 


大 数据 洞察 

数据 价值 的 关键 是 看 似 无 限 的 再 利用 ， 即 它 的 洪 在 价值 。 收 集 信息 
固然 至 关 重 要 ， 但 还 远 远 不 够 ， 因 为 大 部 分 的 数据 价值 在 于 它 的 使 用 ， 
而 不 是 占有 本 里。 
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[即使 只 考虑 因 时 间 不 同 而 造成 新 旧 数 据 价值 的 不 同 ， 也 不 是 一 
个 容易 的 问题 。2010 年 Koren 在 《ACM 通 讯 》 上 题 为 “Collaborative 
Filtering with Temporal Dynamics” 的 文章 回 我 们 展示 了 这 一 单一 特征 亦 
足以 巨大 地 影响 推荐 的 效果 。 译 者 注 


2] 据 此 猿 Mea IE 内 最 大 化 算法 ， 即 Expectation Maximization 
Algorithm. 











[3] 以 往 大 量 的 政府 信息 都 封锁 在 英国 星 家 版 权 〈Crown 
Copyright) 手中 ， 使 用 起 来 非常 困难 和 昌 贵 《比如 在 线 地 图 公司 用 到 的 
邮递 区 号 ) 。 一 一 作者 注 


06 HEEM: Bi. RAS AEN = 6 HAL 


微软 以 1.1 亿 美元 的 价格 购买 了 大 数据 公司 Farecast， 而 两 年 后 谷歌 
则 以 7 亿美 元 的 价格 购买 了 给 Farecast 提 供 数 据 的 ITA Software]. UH 
今 ， 我 们 正 处 在 大 数据 时 代 的 早期 ， 思 维和 技术 是 最 有 价值 的 ， 但 是 最 
终 大 部 分 的 价值 还 是 必须 从 数据 本 身 中 挖掘 。 





【大 数据 先锋 】 
ITA software 与 数据 授权 
VISA &MasterCard 与 商户 推荐 
微软 研究 中 心 与 再 入 院 率 分 析 
埃 森 哲 与 无 线 传 感 监 测 系统 
FlightCaster 的 大 数据 思维 
谷歌 与 亚马逊 ， 三 者 兼备 
数据 中 间 商 ， 交 通 数据 处 理 公 司 Inrix 
The-Numbers.com 与 电影 票房 预测 
苹果 ， 挖 出 “潜伏 ”的 数据 价值 
Decide.com 与 商品 价格 了 预测 
2011 年 ， 西 雅 图 一 家 叫 Decide.com 的 科技 公司 推出 了 一 个 雄心 勃勃 
的 门户 网 站 ， 它 想 为 无 数 顾客 预测 商品 的 价格 。 不 过 它 最 初 计划 的 业务 
范围 只 限于 电子 产品 ， 包 括 手机 、 平 板 电视 、 数 码 相 机 等 。 公 司 的 计算 
机 会 收集 电子 商务 网 站 上 所 有 电子 产品 的 价格 数据 和 产品 信息 。 
网 络 产品 的 价格 受 一 系列 因素 的 影响 全 天 都 在 不 断 更 新 ， 所 以 公司 


收集 的 价格 数据 必须 是 即时 的 。 这 不 仅 是 一 个 “大 数据 ?问题 ， 还 是 一 
个 “大 文本 ”问题 ， 因 为 系统 必须 进行 数据 分 析 ， 才 会 知道 一 个 产品 是 
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是 下 架 了 或 者 是 不 是 有 新 产品 要 友 布 了 『， 这 些 都 是 用 户 想 知 道 的 信息 而 
且 都 会 影响 产品 价格 。 


经 过 一 年 的 时 间 ，Decide.com 分 析 了 近 400 万 产品 的 超过 250 亿 条 价 
格 信息 。 它 发 现 了 一 些 过 去 人 们 无 法 意识 到 的 怪异 现象 ， 比 如 在 新 产品 
发 布 的 时 候 ， 旧 一 代 的 产品 可 能 会 经 历 一 个 短暂 的 价格 上 浮 。 大 部 分 人 
都 习惯 性 地 认为 旧 产 品 更 便宜 ， 所 以 会 选择 买 旧 产 品 ， 其 实 这 取决 于 你 
什么 时 候 购 买 ， 不 然 有 可 能 你 付出 的 金钱 比 购买 新 产品 还 要 多 。 因 为 电 
子 了 商务 网 站 都 开始 使 用 目 动 定价 系统 ， 所 以 Decide.com 能 够 发 现 不 正 
不 合理 的 价格 高 峰 ， 然 后 告知 用 户 何 时 才 是 购买 电子 产品 的 最 佳 时 
IL. 


大 数据 的 力量 


根据 公司 内 部 分 析 显 示 ， 它 的 预测 准确 率 可 以 达到 77%， 平 均 可 以 
帮助 每 个 顾客 在 购买 一 个 产品 时 市 省 100 美 元 。 


表面 上 ，Decide.com 束 像 众 多 前 途 光 明 的 科技 公司 一 样 ， 在 创新 地 
使 用 数据 、 赚 取 利 润 。 但 是 事实 上 ， 让 Decide.com 异 军 突 起 的 不 是 数 
据 ， 不 是 技术 ， 而 是 思维 观念 。Decide.com 使 用 的 数据 都 来 自 电 子 商 务 
网 站 和 互联 网 ， 这 是 公开 的 数据 ， 每 个 人 都 可 以 利用 。 技 术 上 ， 公 司 也 
并 没有 无 可 蔡 代 的 技术 人 才 。 所 以 ， 虽 然 数 据 和 技术 也 是 不 可 或 缺 的 ， 
但 是 真正 使 得 该 公司 取得 成 功 的 是 他 们 拥有 大 数据 的 思维 观念 。 它 先 人 
一 步 地 挖掘 出 了 数据 的 潜在 价值 。Decide.com 和 Farecast 之 间 人 似乎 有 着 相 
通 性 ， 如 果 你 知道 它们 都 是 华盛顿 大 学 奥 伦 : 埃 齐 奥 尼 先 生 的 杰作 ， 你 
就 知道 原因 了 。 

上 一 章 中 ， 我 们 讨论 了 怎样 通过 创新 用 途 ， 挖 掘 出 数据 新 的 价值 ， 
主要 是 指 我 们 所 说 的 潜在 价值 。 如 今 ， 我 们 的 重点 转移 到 了 使 用 数据 的 
公司 和 它们 如 何 融入 大 数据 价值 链 中 。 我 们 将 讨论 这 对 公司 、 个 人 的 事 
业 和 生活 意味 着 什么 。 

大 数据 价值 链 的 3 大 构成 


根据 所 提供 价值 的 不 同 来 源 ， 分 别 出 现 了 三 种 大 数据 公司 。 这 三 种 
来 源 是 指 : 数据 本 里、 技能 与 思维 。 


第 一 种 是 基于 数据 本 号 的 公司 。 这 些 公司 拥有 大 量 数据 或 者 至 少 





























可 以 收集 到 大 量 数据 ， 却 不 一 定 有 从 数据 中 提取 价值 或 者 用 数据 俊生 创 
新 思想 的 技能 。 最 好 的 例子 就 是 Twitter， 它 拥有 海量 数据 这 一 点 是 毫 无 
疑问 的 ， 但 是 它 的 数据 都 通过 两 个 独立 的 公司 授权 给 别人 使 用 。 


第 二 种 是 基于 技能 的 公司 。 它 们 通常 是 咨询 公司 、 技 术 供应 商 或 
者 分 析 公 司 。 它 们 掌握 了 专业 技能 但 并 不 一 定 拥有 数据 或 提出 数据 创新 
性 用 途 的 才能 。 比 方 说 ， 沃 尔 玛 和 Pop-Tarts 这 两 个 零售 隘 就 是 借助 天 容 
oe ten Ute bee E AAE 








第 三 种 是 基于 思维 的 公司 。 皮 特 : 华 登 (Pete Warden) ，Jetpac 的 联 
合 创 始 人 ， 就 是 通过 想法 获得 价值 的 一 个 例子 。Jetpac 通 过 用 户 分 享 到 
网 上 的 旅行 照片 来 为 人 们 推荐 下 次 旅行 的 目的 地 。 对 于 某 些 公司 来 说 ， 
数据 和 技能 并 不 是 成 功 的 关键 。 让 这 些 公 司 脱颖而出 的 是 其 创始 人 和 员 
工 的 创新 思维 ， 他 们 有 怎样 挖掘 数据 的 新 价值 的 独特 想法 。 


大 数据 洞察 


到 目前 为 止 ， 前 两 种 因素 一 直 备 受 关注 ， 因 为 在 现今 世界 ， 技 能 依 
然 炎 缺 ， 而 数据 则 非常 之 多 。 近 年 来 ， 一 种 新 的 职业 出 现 了 ， 那 惑 
和 是 “数据 科学 家 ”。 数 据 科 学 家 是 统计 学 家 、 软 件 程序 员 、 图 形 设计 师 与 
作家 的 结合 体 。 与 通过 显微镜 友 现 事物 不 同 ， 数 据 科 学 家 通过 探寻 数据 
库 来 得 到 新 的 发 现 。 全 球 知名 咨询 浓 理 公司 交 肯 锡 ， 束 曾 极 端 地 预测 数 
据 科学 家 是 当今 和 未 来 稀缺 的 资源 。 如 今 的 数据 科学 家 们 也 喜欢 用 这 个 
预测 来 提升 自己 的 地 位 和 工资 水 平 。 


同时 ， 谷 歌 的 首席 经 济 学 家 哈 尔 : 范 里 安 〈Hal Varian) 认为 统计 学 
家 是 世界 上 最 棒 的 职业 ， 他 的 这 种 说 法 非常 音 名 。 “如 果 你 想 成 功 ， 你 
不 应 该 成 为 一 个 普通 的 、 可 被 随意 答 代 的 人 ， 你 应 该 成 为 稀缺 的 、 不 可 
丛 代 的 那 类 人 ，” 他 还 说 ，“ 数 据 非 常 之 多 而 且 具 有 战略 重要 性 ， 但 是 真 
正 缺 少 的 是 从 数据 中 提取 价值 的 能 力 。 这 也 就 是 为 什么 统计 学 家 、 数 据 
库 管 理 者 和 掌握 机 占 理 论 的 人 是 真正 了 不 起 的 人 。” 


但 是 ， 过 分 强调 技术 和 技能 而 忽视 数据 本 里 的 重要 性 也 是 不 可 取 
的 。 随 铸 计 算 机 行业 的 有 发展， 人力 技 术 的 落后 会 被 慢 慢 地 克服 ， 而 范 里 
安 所 赞 贯 的 技能 将 会 变 成 十 分 普通 的 事情 。 认 为 当今 世界 数据 非常 之 
多 ， 所 以 收集 数据 很 简单 而 且 数据 价值 并 不 高 的 想法 是 绝对 错误 的 一 一 
数据 才 有 是 最 核心 的 部 分 。 要 知道 原因 ， 就 必须 考虑 到 大 数据 价值 链 的 



















































































各 个 部 分 ， 以 及 它们 会 如 何 发 展 变化 。 
大 数据 掌控 公司 


大 数据 最 值钱 的 部 分 就 是 它 目 身 ， 所 以 最 先 考 虑 数据 拥有 者 才 是 明 
智 的 。 他 们 可 能 不 是 第 一 手 收集 数据 的 人 ， 但 是 他 们 能 接触 到 数据 、 有 
权 使 用 数据 或 者 将 数据 授权 给 询 望 挖掘 数据 价值 的 人 。 


大 数据 先锋 
ITA Software 与 数据 授权 


四 大 机 票 预订 系统 之 一 的 ITA Softwares 就 为 Farecast 提 供 预 测 机 票 
价格 所 需要 的 数据 ， 而 它 上 自身 并 不 进行 这 种 数据 分 析 。 为 什么 呢 ? 因为 
商业 定位 不 一 样 ， 毕 竟 出 售 机 票 已 经 很 不 容易 了 ， 所 以 ITA 并 不 考虑 这 
些 数据 的 额外 利用 。 因 此 ， 两 家 公司 的 核心 竞争 力也 会 不 同 。 当 然 ， 还 
有 就 是 ITA 并 没有 这 种 创新 想法 ， 如 果 它 能 像 Farecast 一 样 利 用 数据 ， 那 
么 吏 需 要 问 奥 伦 : 埃 齐 奥 尼 先 生 购买 专利 使 用 权 了 。 


当然 ， 它 在 大 数据 价值 链 上 所 处 的 位 置 也 决定 了 它 不 会 这 样 去 使 用 
数据 。“ITA 会 尽量 避免 用 任何 数据 来 雄 露 航空 公司 的 利润 问题 。”ITA 
的 创始 人 之 一 也 是 前 CTO 卡 尔 : 德 马 肯 (Carl de Marcken) 如 是 说 。 他 还 
说 ，“ITA 能 够 得 到 这 些 数 据 而 且 必 须 拥 有 这 些 数 据 ， 因 为 它们 是 ITA 在 
提供 服务 时 必须 具备 的 。” 但 是 ，ITA 有 意 与 这 些 数 据 保持 一 定 的 距离 ， 
所 以 自己 不 使 用 而 是 授权 别人 使 用 。 结 果 不 难 预见 ，ITA 只 从 Farecast 那 
里 分 得 了 小 小 的 一 杯 又 。Farecast 得 到 了 数据 大 部 分 的 间接 价值 ， 它 把 
其 中 一 部 分 价值 以 更 便宜 的 机 票 的 形式 转移 给 了 它 的 用 户 ， 而 把 这 种 价 
值 融 来 的 利 油 分 给 了 它 的 股东 以 及 员工 。Farecast 通 过 广告 、 佣 金 ， 当 
然 最 后 通过 出 售 公 司 本 身 获 取 利润 。 


有 的 公司 精明 地 把 自己 放 在 了 这 个 信息 链 的 核心 ， 这 样 它们 束 能 扩 
大 规模 、 挖 掘 数 据 的 价值 。 信 用 卡 行业 的 情况 就 符合 这 一 点 。 多 年 来 ， 
防范 信用 诈骗 的 高 成 本 使 得 许多 中 小 银行 都 不 愿意 发 行 目 己 的 信用 卡 ; 
而 是 由 大 型 金融 机 构 发 行 ， 因 为 只 有 它们 才能 大 规模 地 投入 人 力 物力 友 
展 防范 技术 。 美 国 第 一 资本 银行 和 美国 银行 这 样 的 大 型 金融 机 构 就 承担 
了 这 个 工作 。 但 是 现在 小 银行 后 悔 了 ， 因 为 没有 自己 发 行 的 信用 卡 ， 它 
们 就 无 从 得 知客 户 的 消费 模式 ， 从 而 不 能 为 客 尸 提供 定制 化 服务 。 






































大 数据 先锋 
VISA & MasterCard 与 商户 推荐 


相对 地 ， 像 VISA 和 MasterCard 这 样 的 信用 卡 发 行商 和 其 他 大 银行 就 
站 在 了 信息 价值 链 最 好 的 位 置 上 。 通 过 为 小 银行 和 商家 提供 服务 ， 它 们 
能 够 从 自己 的 服务 网 获取 更 多 的 交易 信息 和 顾客 的 消费 信息 。 它 们 的 商 
业 模 式 从 单纯 的 处 理 文 付 行 为 转变 成 了 收集 数据 。 接 下 来 的 问题 就 是 ， 
如 何 使 用 收集 到 的 数据 。 


吏 像 ITA 一 样 ，MasterCard 也 可 以 把 这 些 数据 授权 给 第 三 方 使 用 ， 
但 是 它 更 倾 癌 于 上 自己 分 析 、 挖 掘 数据 的 价值 。 一 个 称 为 MasterCard 
Advisors 的 部 门 收 集 和 分 析 了 来 自 210 个 国家 的 15 亿 信用 卡 用 户 的 650 亿 
条 交易 记录 ， 用 来 预测 商业 发 展 和 客户 的 消费 趋势 。 然 后 ， 它 把 这 些 分 
析 结 果 卖 给 其 他 公司 。 它 发 现 ， 如 果 一 个 人 在 下 午 四 点 左右 给 汽车 加 油 
的 话 ， 他 很 可 能 在 接 下 来 的 一 个 小 时 内 要 去 购物 或 者 去 餐馆 吃饭 ， 而 这 
一 个 小 时 的 花费 大 概 在 35~50 美 元 之 间 。 商 家 可 能 正 需 要 这 样 的 信息 ， 
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处 于 这 个 数据 链 的 中 心 ，MasterCard 占 据 了 收集 数据 和 挖掘 数据 价 
值 的 黄金 位 置 。 我 们 可 以 想象 ， 未 来 的 信用 卡 公司 不 会 再 对 交易 收取 佣 
金 ， 而 是 免费 提供 支付 服务 。 作 为 回报 ， 它 们 会 获得 更 多 的 数据 ， 而 对 
这 些 数据 进行 复杂 的 分 析 之 后 ， 它 们 又 可 以 卖 掉 分 析 结 果 以 取得 利 洞 。 


大 数据 技术 公司 


第 二 种 类 型 就 是 拥有 技术 和 专业 技能 的 公司 。MasterCard 选 择 了 自 
己 分 析 ， 有 的 公司 选择 在 两 个 类 型 之 间 游 黎 ， 但 是 还 有 一 部 分 公司 会 选 
择 发 展 专业 技能 。 比 方 说 ， 埃 森 哲 咨询 公司 就 与 各 行 各 业 的 公司 合作 应 
用 高 级 无 线 感 应 技术 来 收集 数据 ， 然 后 对 这 些 数据 进行 分 析 。 

大 数据 的 力量 

2005 年 ， 在 埃 森 哲 与 密苏里 州 圣路易斯 市 共同 合作 的 一 个 实验 项 目 
中 ， 它 给 20 辆 公交 车 安装 了 无 线 传感器 来 监测 车 辆 引擎 的 工作 情况 。 这 
些 数据 被 用 来 预测 公交 车 什么 时 候 会 抛锚 以 及 维修 的 最 佳 时 机 。 研 究 促 
使 车 辆 更 换 堆 件 的 周期 从 30 万 或 者 40 万 公里 变 成 了 50 万 公里 ， 仅 这 一 项 
































研究 结果 就 帮助 该 城市 节省 了 60 万 美元 。 在 这 里 ， 获 益 的 不 是 埃 森 哲 ， 
而 是 圣路易斯 市。 


在 医学 数据 领域 ， 我 们 可 以 看 到 一 个 关于 技术 公司 如 何 能 提供 有 效 
服务 的 很 好 的 例子 。 位 于 华盛顿 州 的 华盛顿 中 心 医 院 与 微软 研究 中 心 合 
作 分 析 了 多 年 来 的 匿名 医疗 记录 ， 涉 及 患者 人 口 统计 资料 、 检 查 、 诊 
断 、 治 疗 资 料 ， 等 等 。 这 项 研究 是 为 了 减少 感染 紊 和 再 入 院 率 ， 因 为 这 
两 项 所 耗费 的 费用 是 医疗 卫生 领域 最 大 的 一 部 分 ， 所 以 任何 可 以 减少 哪 
怕 是 很 小 比例 的 方法 都 意味 着 市 省 巳 大 的 开 文 。 


这 项 研究 发 现 了 很 多 惊人 的 相关 关系 : 在 一 系列 情况 下 ， 一 个 出 院 
了 的 病人 会 在 一 个 月 之 内 再 次 入 院 。 有 一 些 情况 是 众所周知 但 还 没有 找 
到 好 的 解决 办 法 的 ， 比 方 说 ， 一 个 患 充 血性 心力 桶 绚 的 病人 就 很 有 可 能 
再 次 入 院 ， 因 为 这 是 非常 难 医治 的 病 。 但 是 研究 也 发 现 了 一 个 出 人 意料 
的 重要 因素 ， 那 就 是 病人 的 心理 状况 。 如 条 对 病人 最 初 的 诊断 中 有 类 
似 “ 压 抑 ” 这 种 上 暗示 心理 疾病 的 词 的 话 ， 病 人 和 再度 入 院 的 可 能 性 大 很 多 。 


虽然 这 种 相关 关系 对 于 建立 特定 的 因果 关系 并 无 帮助 ， 但 是 这 表 
明 ， 如 采 病 人 出 院 之 后 的 医学 干预 是 以 解决 病人 的 心理 问题 为 重心 ， 可 
能 会 更 有 利于 他 们 的 号 体 健 康 。 这 样 束 可 以 提供 更 好 的 健康 服务 ， 降 低 
再 入 院 率 和 医疗 成 本 。 这 个 相关 关系 是 机 顺从 一 大 扒 数 据 中 筛选 出 来 
的 ， 也 是 人 类 可 能 永远 都 发 现 不 了 的 。 微 软 不 控制 数据 ， 这 些 数 据 只 属 
于 医院 ， 微 软 没有 出 彩 的 想法 ， 那 并 不 是 这 里 需要 的 东西 ， 相 反 ， 微 软 
只 是 提供 了 分 析 工 具 ， 也 就 是 Amalga 系 统 来 帮助 发 现 有 价值 的 信息 。 


大 数据 拥有 者 依靠 技术 专家 来 挖掘 数据 的 价值 。 但 是 ， 虽 然 受 到 了 
高 度 的 赞扬 ， 而 且 同 时 拥有 “数据 武士 "这样 时 歼 的 名 字 ， 但 技术 专家 并 
没有 想象 中 那么 耀眼 。 他 们 在 大 数据 中 淘金 ， 发 现 了 金 银 珠宝 ， 可 和 古 最 
后 却 要 把 这 些 财 语 拱手 让 给 大 数据 拥有 者 。 


大 数据 思维 公司 和 个 人 
第 三 种 类 型 是 有 着 大 数据 思维 的 公司 和 个 人 。 他 们 的 优势 在 于 ， 他 
们 能 先 人 一 步 友 现 机 遇 ， 尺 管 本 里 并 不 拥有 数据 也 不 具备 专业 技能 。 事 
实 上， 很 可 能 正 因为 他 们 是 外 行人 ， 不 具备 这 些 特 点 ， 他 们 的 思维 才能 
不 受 限 制 。 他 们 思考 的 只 有 可 能 ， 而 不 考虑 所 谓 的 可 行 。 


大 数据 先锋 

































































FlightCaster 的 大 数据 思维 


布 拉 德 福 德 .区 罗斯 (Bradford Cross) 用 拟人 手法 解释 了 什么 是 有 
大 数据 思维 。2009 年 8 月 ， 也 就 是 在 他 20 多 几 的 时 候 ， 他 和 四 个 朋友 一 
起 创办 了 FlightCaster.com。 和 FlyOnTime.us 类 似 ， 这 个 网 站 致力 于 预测 
航班 是 否 会 晚点 。 它 主要 基于 分 析 过 去 十 年 里 每 个 航班 的 情况 ， 然 后 将 
其 与 过 去 和 现实 的 天 气 情况 进行 匹配 。 


有 趣 的 是 ， 数 据 拥 有 者 就 做 不 到 这 样 的 事情 。 因 为 数据 拥有 者 没有 
这 样 使 用 数据 的 动机 和 强制 要 求 。 事 实 上 ， 如 果 美 国运 输 统计 局 、 美 国 
联邦 航空 局 和 美国 天 气 服务 这 些 数据 拥有 者 敢 将 航班 晚点 预测 用 作 商 业 
用 途 的 话 ， 国 会 可 能 整 会 举办 听证 会 并 否决 这 个 提议 。 所 以 使 用 数据 的 
任务 就 沙 到 了 一 群 不 甘 的 数学 才子 的 史上 。 同 样 ， 航 空 公司 不 可 以 这 么 
做 ， 也 不 会 这 么 做 ， 因 为 这 些 数 据 所 表达 的 信息 越 隐 蔽 对 它们 就 越 有 
利 。FlightCaster 的 预测 是 如 此 的 准确 ， 束 连 骸 空 公司 的 职员 也 开始 使 用 
它 了 。 但 是 需要 注意 的 一 点 就 是 ， 虽 然 航 空 公 司 是 信息 的 源头 ， 但 是 不 
到 最 后 一 秒 它 是 不 会 公布 航班 晚点 的 ， 所 以 它 的 信息 是 不 及 时 的 。 


因为 有 着 大 数据 思维 ， 克 罗斯 和 他 的 FlightCaster 是 第 一 个 行动 起 来 
的 ， 但 也 没 比 别人 快 多 少 。 所 谓 大 数据 思维 ， 是 指 一 种 意识 ， 认 为 公 
开 的 数据 一 旦 处 理 得 当 就 能 为 干 百 万 人 急需 解决 的 问题 提供 答案 。 
2009 年 8 月 ，FlightCaster 公 开发 布 了 。 同 一 个 月 ，FlyOnTime.us 的 计算 
机 专家 们 也 开始 搜 刊 公开 的 数据 建立 他 们 的 网 站 。 最 终 ，FlightCaster 的 
优势 慢 慢 地 减弱 了 。2011 年 1 月 ， 克 罗斯 和 他 的 同伴 把 网 站 卖 给 了 Next 
Jump， 这 是 一 个 使 用 大 数据 技术 进行 企业 折扣 管理 的 公司 。 


之 后 ， 匈 罗斯 把 他 的 目光 转 癌 了 男 外 一 个 夕阳 行业 一 一 新 闻 行 业 。 
他 发 现 ， 这 里 是 一 个 创新 型 的 外 行人 可 以 大 有 作为 的 宇 地 。 他 的 科技 创 
新 公司 Prismatic 收 集 网 上 资源 并 排序 ， 这 种 排序 建立 在 文本 分 析 、 用 户 
喜好 、 社 区 网 络 普及 和 大 数据 分 析 的 基础 之 上 。 重 要 的 是 ， 这 个 系统 并 
不 介意 这 是 一 个 青少年 的 博客 、 一 个 企业 网 站 还 是 《华盛顿 邮 报 》 上 的 
-篇 报道 ， 只 要 它 的 内 容 相 关 并 且 很 受 欢 迎 就 能 排 在 很 靠 前 的 位 置 。 而 
关于 是 侍 受 欢迎 ， 是 通过 它 的 点 击 率 和 分 至 次 数 来 体现 的 。 


作为 一 项 服务 ，Prismatic 关 注 的 是 年 青 一 代 与 媒体 进行 交流 的 新 方 
法 ， 信 息 的 来 源 并 不 重要 。 同 时 ， 这 也 给 那些 上 自视 过 高 的 主流 媒体 所 了 
一 个 醒 : 公众 的 力量 要 远 远 超过 它们 ， 而 西 效 音 履 的 记者 们 也 需要 与 一 
群 不 修 边 幅 的 博 主 进行 竞争 。 也 许 最 令 人 无 法 想象 的 是 ，Prismatic 居 然 



























































是 从 新 闻 领 域内 部 诞生 出 来 的 ， 虽 然 它 确实 收集 了 大 量 的 数据 。 美 国 国 
家 记者 俱乐部 (National Press Club) 的 常客 从 来 没有 想 过 要 再 利用 网 上 
的 媒体 资源 ， 阿 蒙 克 、 纽 约 和 印度 班加罗尔 的 分 析 专 家 们 也 没有 想 过 要 
用 这 种 方法 来 使 用 数据 。 克 罗斯 顶 着 一 头 芝 松 的 头发 ， 说 话 否 否 吐 吐 ， 
可 就 是 这 样 一 个 不 起 眼 的 外 行人 ， 想 到 了 也 做 到 了 ， 他 使 用 这 些 数 据 来 
告诉 世界 什么 是 比 《 纽 约 时 报 》 更 有 用 的 信息 来 源 。 


大 数据 思维 这 个 概念 以 及 一 个 拥有 创新 思维 的 人 的 地 位 ， 与 20 世 纪 
90 年 代 电 子 商 务 初期 出 现 的 情况 是 不 一 样 的 。 电 子 商务 先驱 者 们 的 思想 
没有 被 传统 行业 的 固有 思维 和 制度 缺陷 所 限制 ， 因 此 ， 在 对 冲 其 金工 作 
的 金融 工程 师 杰 夫 : 贝 索 斯 创建 了 网 上 书店 亚马逊 而 不 是 巴 诡 书 店 a; 软 
件 开发 工程 师 皮 埃 尔 : 奥 米 迪 亚 «(Pierre Omidyar) 开发 了 一 个 拍卖 网 站 
而 不 是 苏 富 比 〈Sothebys) 日。 如 今 ， 拥 有 大 数据 思维 的 领导 者 通 稼 目 
己 并 不 拥有 数据 资源 。 但 就 是 因为 这 样 ， 他 们 不 会 受 既 得 利益 和 金钱 欲 
望 这 样 的 因素 影响 而 阻碍 自己 的 想法 实践 。 


就 像 我 们 看 到 的 ， 也 有 公司 集合 了 大 数据 的 多 数 特 点 。 埃 齐 奥 尼 和 
克 罗 斯 不 仅 比 别人 早 一 步 有 了 这 些 决 胜 的 思想 ， 他 们 也 有 技术 优势 。 
Teradata 和 埃 森 哲 的 员工 不 仪 规 规 抢 窜 地 打卡 上 班 ， 还 时 不 时 会 有 些 机 
灵 的 点 子 。 这 些 原型 都 有 助 于 我 们 认识 不 同 公司 所 承担 的 角色 。 我 们 在 
上 一 章节 中 提 到 的 手机 公司 掌握 了 海量 的 数据 却 不 知道 该 如 何 使 用 ， 人 然 
而 ， 它 们 可 以 把 这 些 数据 授权 给 有 能 力 挖 掘 出 数据 价值 的 人 。 同 样 地 ， 
Twitter 一 早 束 决定 把 它 所 掌握 的 海量 数据 授权 给 了 两 家 公司 。 如 今 的 大 
数据 先驱 者 们 通常 都 有 着 交叉 学 科 背 景 ， 他 们 会 将 这 些 知 识 与 自己 所 党 
握 的 数据 技术 相 结合 ， 应 用 于 广泛 的 领域 之 中 。 新 一 代 的 天 使 投资 人 和 
企业 家 正在 诞生 ， 他 们 主要 是 来 和 目 谷 歌 已 经 离职 的 员工 和 所 谓 的 “Paypal 
黑手 党 加 。 他 们 与 少量 的 计算 机 科学 家 一 起 充当 了 当今 许多 数据 科技 公 
司 的 最 大 靠山 。 这 种 将 企业 和 个 人 置 于 大 数据 价值 链 中 的 创新 性 想法 促 
使 我 们 重新 审视 公司 的 存在 价值 。 比 方 说 ，Salesforce 不 再 是 一 个 单纯 为 
企业 提供 应 用 软件 的 平台 ， 它 还 能 挖掘 这 些 软件 所 收集 到 的 数据 并 且 释 
放出 它们 的 巨大 价值 。 


大 数据 先锋 
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型 的 例子 就 是 谷歌 ， 它 收集 搜索 时 拼写 错误 的 数据 ， 它 也 有 利用 这 些 数 


















































据 创 建 一 个 世界 上 最 好 的 拼写 检查 程序 的 好 点 子 ， 同 时 它 自 里 也 具备 挖 
掘 数 据 价 值 的 技术 。 谷 歌 在 大 数据 价值 链 中 同时 充当 的 这 三 个 不 同 的 角 
色 ， 与 谷歌 其 他 项 目 整 合 后 为 谷歌 带 来 了 巨大 的 利润 。 除 此 之 外 ， 合 歌 
还 通过 应 用 程序 接口 (APIs〉 把 它 掌握 的 部 分 数据 授权 别人 使 用 ， 这 样 
数据 就 能 重复 使 用 还 可 以 产生 附加 价值 。 谷 歌 地 图 就 是 这 样 ， 它 免费 给 
互联 网 上 的 任何 人 提供 服务 〈 尽 管 访问 量 很 大 的 网 站 是 需要 付费 的 ) 。 


同样 ， 亚 马 逊 也 是 数据 、 技 能 、 思 维 三 者 兼备 。 事 实 上 ， 该 公司 的 
商业 模式 就 是 按 这 个 顺序 确定 的 ， 虽 然 这 与 常规 不 人 符 。 刚 开始 的 时 候 ， 
关于 它 备 受 赞誉 的 推荐 系统 ， 亚 互 还 只 有 一 个 初步 的 想法 。 它 在 其 1997 
年 的 股票 市 场 简介 中 首先 描述 了 “协同 过 滤 ”， 这 发 生 在 它 找 到 实施 这 个 
想法 的 方法 和 配备 足够 的 数据 资源 之 前 。 


里 然 谷 歌 和 亚 马 进 都 是 三 者 兼 具 ， 但 是 它们 的 商业 策略 并 不 相同 。 
谷歌 在 刚 开 始 收集 数据 的 时 候 ， 就 已 经 带 有 多 次 使 用 数据 的 想法 。 比 方 
说 ， 它 的 街景 采集 车 收集 全 球 定位 系统 数据 不 光 是 为 了 创建 谷歌 地 图 ， 
也 是 为 了 制 成 全 自动 汽车 。 相 对 地 ， 亚 蕊 进 更 关注 的 是 数据 的 基本 用 途 
而 且 也 只 把 数据 的 二 级 用 途 作 为 额外 收益 。 比 方 说 ， 它 的 推荐 系统 把 用 
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亚马逊 的 Kindle 电 子 书 阅读 需 记 录 了 一 些 读者 反复 标注 和 强调 过 的 
内 容 ， 但 是 亚马逊 并 没有 把 这 些 数据 信息 卖 给 作者 或 是 出 版 社 。 书 丙 肯 
定 很 乐意 知道 哪些 段落 是 受 读 者 喜欢 的 ， 因 为 这 样 他 们 就 能 提高 销量 ; 
作者 应 该 也 想 知 道 书 籍 的 哪些 地 方 不 受 读者 欢迎 ， 这 样 他 们 就 能 根据 读 
者 的 喜好 提高 作品 质量 ， 出 版 社 则 可 以 通过 这 些 数 据 知 道 哪些 主题 的 书 
籍 更 有 可 能 成 为 畅销 书 。 但 是 ， 亚 马 逊 把 这 些 数据 都 雪藏 了 。 


一 旦 得 以 有 效 利 用 ， 大 数据 吏 可 以 变 昔 公司 的 局 利 模式 和 传统 交流 
方式 。 我 们 举 一 个 典型 的 例子 ， 通 过 得 到 竞争 对 手 所 没有 的 行业 信息 ， 
欧洲 一 家 汽车 制造 商 重新 定位 了 与 它 的 一 个 零件 供应 商 的 关系 。 


如 今 的 汽车 装 满 了 必 片 、 传 感 器 和 各 种 软件 ， 一 经 月 动 ， 它 们 就 会 
及 时 把 汽车 状况 信息 发 送 到 制造 商 的 电脑 上 。 一 个 典型 的 中 档 车 大 概 有 
60 个 微型 处 理 器 ， 车 上 电子 仪器 的 价值 占 了 和 车辆 总 价值 的 三 分 之 一 。 车 
载 电 子 仪 器 之 多 使 汽车 成 了 “ 深 浮 的 观 景 侣 ， 这 本 是 英里 用 来 形容 船舶 
的 。 而 这 些 设备 监控 到 的 汽车 零 部 件 的 工作 状况 ， 能 够 在 整合 之 后 用 来 
提高 汽车 的 质量 ， 因 此 ， 能 够 掌握 这 些 数 据 的 公司 拥有 非常 大 的 竞争 优 


















































势 。 


汽车 制造 商 通 过 与 行业 外 的 数据 分 析 公 司 合作 及 现 ， 德 国 供 货 商 供 
应 的 油箱 的 雁 汽 泄漏 检测 传 感 句 存在 一 些 问 题 ， 它 会 对 好 的 油箱 产生 错 
误 报 警 达 16 次 。 汽 车 制造 商 可 以 把 这 些 信息 反馈 给 供 货 商 要 求 修 理 。 在 
商业 环境 更 加 和 谐 的 情况 下 ， 也 许 会 友 生 上 面 说 到 的 情况 ， 但 是 既然 汽 
a a a 
一 点 点 损失 。 


所 以 ， 汽 车 制造 商 开 始 考 虑 到 底 应 该 怎么 做 : 卖 掉 这 个 数据 ? 它 值 
多 少 钱 呢 ? URGE EEN SEN? 如 果 是 我 自己 在 操作 过 程 中 出 现 了 
KRE? 而 且 它 知道 ， 一 旦 公布 了 信息 ， 和 上 自己 用 同样 零件 的 竞争 对 手 
也 会 改进 他 们 的 车 。 更 明智 的 选择 应 该 是 ， 这 些 数据 只 能 让 自己 受益 ， 
自己 的 汽车 能 够 有 所 改进 。 最 终 ， 汽 车 制造 商 想 到 了 一 个 好 主意 。 它 通 
过 改进 软件 而 改进 了 这 个 零件 ， 而 且 为 这 次 改进 申请 了 专利 。 然 后 ， 它 
eS 
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全 新 的 数据 中 间 商 


谁 在 这 个 大 数据 价值 链 中 获 普 最 大 呢 ? 现在 看 来 ， 应 该 是 那些 拥有 
大 数据 思维 或 者 说 创新 性 思维 的 人 。 就 像 我 们 所 见 的 一 样 ， 目 从 信息 时 
代 以 来 ， 这 些 第 一 个 吃 螃 蟹 的 人 都 有 发 了 大 财 。 但 是 ， 这 种 先决 优势 并 不 
能 维持 很 长 的 时 间 。 随 着 大 数据 时 代 的 推进 ， 别 人 也 会 吸收 这 种 思维 ， 
然后 那些 先驱 者 的 优势 融会 逐渐 减弱 。 


那么 ， 核 心 价值 会 不 会 在 技术 上 ? 毕竟 ， 一 个 金 矿 的 价值 也 只 有 在 
它 被 挖掘 出 来 之 后 才 有 意义 。 但 是 ， 计 算 机 的 历史 却 否 定 了 这 一 想法 。 
如 今 ， 在 数据 库 管 理 、 数 据 科 学 、 数 据 分 析 、 机 器 学 习 算法 等 类 似 行 业 
的 技能 确实 很 走俏 。 但 是 ， 随 着 大 数据 成 为 人 们 生活 的 一 部 分 ， 而 大 数 
据 工 具 变 得 更 容易 和 更 方便 使 用 ， 越 来 越 多 的 人 会 掌握 这 些 技能 ， 所 以 
这 些 技能 的 价值 就 会 相对 减少 ， 束 像 20 世 纪 60~80 年 代 之 间 计 算 机 编程 
技术 变 得 越 来 越 普遍 一 样 。 现 在 ， 国 外 的 外 包公 司 使 得 基础 的 计算 机 编 
程 技 术 越 来 越 廉价 ， 如 今 它 甚至 成 为 了 世界 贫困 人 口 的 致富 驱动 力 ， 而 
不 再 代表 着 高 端 技 术 。 当 然 ， 这 一 切 并 不 是 要 说 大 数据 技能 不 重要 ， 只 
是 这 不 是 大 数据 价值 的 最 主要 来 源 。 毕 竟 ， 技 术 是 外 在 的 力量 。 


大 数据 洞察 


























现今 ， 我 们 正 处 在 大 数据 时 代 的 早期 ， 思 维和 技能 是 最 有 价值 的 ， 
但 是 最 终 ， 大 部 分 的 价值 还 是 必须 从 数据 本 里 中 挖掘 。 因 为 在 未 来 ， 我 
们 可 以 利用 数据 做 更 多 的 事情 ， 而 数据 拥有 者 们 也 会 真正 意识 到 他 们 所 
拥有 的 财富 。 因 此 ， 他 们 可 能 会 把 他 们 手中 所 拥有 的 数据 抓 得 更 其， 也 
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然而 ， 如 果 数 据 拥有 者 做 长 远 打 算 的 话 ， 有 一 个 小 问题 十 分 值得 关 
TE: 那 束 是 在 有 些 情况 下 会 出 现 “ 数 据 中 间 人 ”它们 会 从 各 种 地 方 搜集 
数据 进行 整合 ， 然 后 再 提取 有 用 的 信息 进行 利用 。 数 据 拥有 者 可 以 让 中 
间 人 充当 这 样 的 角色 ， 因 为 有 些 数据 的 价值 只 能 通过 中 间 人 来 挖掘 。 


大 数据 先锋 
数据 中 间 两 ， 交 通 数 据 人 处理 公司 Inrix 


总 部 位 于 西雅图 的 交通 数据 处 理 公 司 Inrix 束 是 一 个 很 好 的 例子 。 它 
汇集 了 来 自 美 洲 和 欧洲 近 1 亿 辆 汽车 的 实时 交通 数据 。 这 些 数据 来 目 宝 
马 、 福 特 、 丰 田 等 私家 和 车， 还 有 一 些 商 用 车 ， 比 如 出 租车 和 货车 。 私 家 
车 主 的 移动 电话 也 是 数据 的 来 源 。 这 也 解释 了 为 什么 它 要 建立 一 个 免费 
的 智能 手机 应 用 程序 ， 因 为 一 方面 它 可 以 为 用 户 提 供 免费 的 交通 信息 ， 
另 一 方面 它 目 己 就 得 到 了 同步 的 数据 。Inrix 通 过 把 这 些 数 据 与 历史 交通 
数据 进行 比 对 ， 再 考虑 进 天 气 和 其 他 诸如 当地 时 事 等 信息 来 预测 交通 状 
况 。 数 据 软 件 分 析出 的 结果 会 被 同步 到 汽车 卫星 导航 系统 中 ， 政 府 部 门 
和 商用 车 队 都 会 使 用 它 。 


Inrix 是 典型 的 独立 运作 的 大 数据 中 间 商 。 它 汇聚 了 来 自 很 多 汽车 制 
造 商 的 数据 ， 这 些 数 据 能 产生 的 价值 要 远 远 超过 它们 被 单独 利用 时 的 价 
值 。 每 个 汽车 制造 商 可 能 都 会 利用 它们 的 车 辆 在 行驶 过 程 中 产生 的 成 干 
上 万 条 数据 来 预测 交通 状况 ， 这 种 预测 不 是 很 准确 也 并 不 全 面 。 但 是 随 
看 数据 量 的 激增 ， 预 测 结果 会 越 来 越 准确 。 同 样 ， 这 些 汽车 制造 商 并 不 
一 定 掌握 了 分 析 数 据 的 技能 ， 它 们 的 强项 是 造 车 ， 而 不 是 分 析 泊 松 分 
布 。 所 以 它们 都 愿意 第 三 方 来 做 这 个 预测 的 事情 。 兄 外 ， 虽 然 交 通 状况 
分 析 对 敬 驶 员 来 说 非常 重要 ， 但 是 这 几乎 不 会 影响 到 一 个 人 是 否 会 购 
车 。 所 以 ， 这 些 同行 业 的 竞争 者 们 并 不 介意 通过 行业 外 的 中 间 商 汇聚 它 
们 手 里 的 数据 。 


当然 ， 很 多 行业 已 经 有 过 信息 共享 了 ， 比 较 著 名 的 有 保险 商 实验 




































































室 ， 还 有 一 些 已 经 联网 了 的 行业 ， 比 如 银行 业 、 能 源 和 通信 行业 。 在 这 
些 行业 里 ， 信 息 交 流 是 避免 问题 最 重要 的 一 环 ， 监 管 部 门 也 要 求 它们 信 
恩 互通 。 市 场 研究 公司 把 儿 十 年 来 的 数据 部 汇集 在 一 起 ， 就 像 一 些 专门 
负责 审计 报刊 发 行 量 的 公司 一 样 。 这 是 一 些 行业 联盟 组 织 的 主要 职责 。 


如 今 不 同 的 是 ， 数 据 开 始 进入 市 场 了 。 数 据 不 再 是 单纯 意义 上 的 数 
据 ， 它 被 挖掘 出 了 新 的 价值 。 比 方 说 ，Inrix 收 集 的 交通 状况 数据 信息 会 
比 表 面 看 上 去 有 用 得 多 ， 它 被 用 来 评测 一 个 地 方 的 经 谤 情况 ， 因 为 它 也 
可 以 提供 天 于 失业 率 、 零 售 额 、 业 余 活动 的 信息 。2011 年 ， 美 国 经 济 复 
苏 开始 放 缓 ， 昌 然 政 客 们 强烈 否定 ， 但 是 这 个 信息 还 是 被 区 通 状况 分 析 
给 拔 露 了 出 来 。Inrix 的 分 析 发 现 ， 上 下 班 高 峰 时 期 的 交通 状况 变 好 了 ， 
这 也 就 说 明 失 业 率 增加 了 ， 经 济 状况 变 差 了 。 同 时 ，Inrix 把 它 收集 到 的 
数据 卖 给 了 一 个 投资 基金 ， 这 个 投资 基金 把 交通 情况 视 作 一 个 大 型 零售 
商场 销量 的 代表 ， 一 旦 附近 车 辆 很 多 ， 束 说 明 丙 场 的 销量 会 增加 。 在 商 
场 的 季度 财政 报表 公布 之 前 ， 这 项 基金 还 利用 这 些 数据 分 析 结 果 换 得 了 
商场 的 一 部 分 股份 。 


大 数据 价值 链 上 还 出 现 了 很 多 这 样 的 中 则 人 。 比 较 早 期 的 一 个 束 是 
Hitwise， 现 在 它 已 经 被 益 百 利 收 购 了 。Hitwise 与 一 些 互联 网 服务 公司 
合作 ， 它 支付 给 这 些 公司 一 些 费 用 以 使 用 它们 的 数据 。 这 些 数 据 只 是 以 
一 个 固定 的 低 价 授权 给 Hitwise， 而 不 是 按 它 所 得 利润 的 比例 抽 成 。 这 样 
一 来 ，Hitwise 作 为 中 间 人 就 得 到 了 大 部 分 的 利润 。 另 一 个 中 间 人 的 例子 
就 是 Quantcast， 它 通过 帮助 网 站 记录 用 户 的 网 页 浏览 历史 来 测评 用 户 的 
和 年龄、 收入、 喜好 等 个 人 信息 ， 然 后 加 用 户 发 送 有 针对 性 的 定 同 广告 。 
它 提 供 了 一 个 在 线 系统 ， 网 站 通过 这 个 系统 就 能 记录 用 户 的 浏览 情况 ， 
而 Quantcast 吏 能 得 到 这 些 数据 来 帮助 上 自己 提高 定 同 广 告 的 效率 。 


这 些 中 间 人 在 这 个 价值 链 中 站 在 了 一 个 收益 丰厚 的 位 置 上 ， 但 是 它 
们 并 没有 威胁 到 为 他 们 提供 数据 的 数据 拥有 者 的 利润 。 现在， 广告 业 是 
一 个 高 利润 行业 ， 因 为 大 部 分 的 数据 都 藏 届 于 此 ， 而 社会 各 行 各 业 都 急 
切 地 需要 通过 挖掘 这 些 数据 进行 定向 广 告 。 随 者 越 来 越 多 的 事情 被 数据 
化 ， 越 来 越 多 的 行业 意识 到 它们 与 数据 有 交流 ， 这 些 独立 的 数据 中 间 人 
也 会 在 别处 出 现 。 


有 了 时， 这 些 中 间 人 不 一 定 是 商业 性 质 的 组 织 ， 也 可 能 是 非 营利 性 
的 ， 比 如 ，2011 年 由 美国 几 个 最 大 的 医疗 保险 公司 联合 创立 的 卫生 保健 
成 本 协会 (Health Care Cost Institute) 。 它 们 的 数据 汇集 了 来 自 3300 万 
人 的 50 亿 份 保单 ， 当 然 这 都 是 匿名 的 。 数 据 共 享 之 后 ， 这 些 公 司 可 以 看 









































到 在 一 个 较 小 的 独立 数据 库 里 看 不 到 的 信息 。2008 年 9 月 ， 这 个 超大 型 
数据 库 就 有 了 第 一 个 重大 发 现 ， 那 吏 是 美国 的 医疗 花费 比 通货 膀 胀 率 的 
增长 速度 快 3 倍 之 多 。 但 是 在 各 个 细微 方面 的 情况 就 各 有 不 同 了 : 其 中 
急诊 室 治 疗 费 用 上 涨 了 11%， 而 护理 设施 的 价格 实际 上 是 下 跌 了 的 。 显 
然 ， 医 疗 保险 公司 是 不 可 能 把 它 的 价格 数据 给 除非 营利 性 机 构 之 外 的 任 
何 组 织 的 。 这 个 组 织 的 动机 更 明确 ， 运 行 更 透明 化 且 更 富有 责任 心 。 


大 数据 公司 的 多 样 性 表明 了 数据 价值 的 转移 。 在 Decide.com 的 案例 
中 ， 产 品 价 格 和 新 产品 的 发 布 数据 都 是 由 合作 的 网 站 提供 的 ， 然 后 合作 
双方 共同 分 享 利润 。Decide.com 通 过 人 们 在 这 些 网 站 购买 产品 而 赚 取 佣 
金 ， 同 时 提供 这 些 数据 的 公司 也 取得 了 部 分 利润 。 相 比 ITA 提 供给 
Farecast 的 数据 不 抽取 佣金 而 只 是 收取 基本 授权 费用 的 情况 ， 这 说 明了 
这 个 行业 的 逐渐 成 熟 如 今 数据 提供 者 会 更 占 优势 。 不 难 想 象 ， 埃 齐 
奥 尼 的 下 一 个 科技 公司 应 该 束 会 自己 收集 数据 了 ， 因 为 数据 的 价值 已 经 
从 技术 转移 到 了 数据 自 届 和 大 数据 思维 上 。 


随 着 数据 价值 转移 到 数据 拥有 者 手 上 ， 传 统 的 商业 模式 也 被 颠覆 
了 。 上 上 文 所 到 的 与 供 货 商 进行 知识 产权 交易 的 欧洲 汽车 制造 丙 束 拥有 一 
个 非常 专业 的 数据 分 析 团 队 ， 但 是 还 需要 一 个 科技 公司 来 痊 它 挖掘 数据 
的 价值 。 这 个 科技 公司 肯定 是 可 以 得 到 报酬 的 ， 但 是 大 头 还 是 个 这 个 汽 
车 制造 商 赚 走 了 。 不 过 ， 这 个 科技 公司 发 现 了 商机 ， 于 是 它 改 变 了 它 的 
商业 模式 它 为 客户 承担 一 定 的 风险 ， 因 为 有 风险 就 有 回报 。 而 且 ， 它 
用 部 分 报酬 换取 了 一 部 分 的 分 析 结 果 ， 因 为 这 个 分 析 结 果 是 可 以 循环 使 
用 的 。 比 如 ， 对 于 汽车 配件 供应 商 来 说 ， 它 们 未 来 肯定 都 想 为 它们 的 产 
器 加 上 测试 仪 或 者 把 提供 产品 评估 数据 写 进 销售 合同 的 标准 条 丈 中 ， 这 
样 它们 就 能 随时 改进 产品 的 质量 了 。 


对 于 中 间 商 来 说 ， 公 司 之 间 不 愿意 进行 数据 共享 的 问题 会 让 他 们 感 
到 很 头疼 。 比 如 Inrix 束 不 再 只 收集 关于 地 理 位 置 的 数据 了 。2012 年 ， 它 
就 天 于 车 辆 的 目 动 制 动 系统 何 时 何 地 会 生效 进行 了 分 析 ， 因 为 有 一 家 汽 
车 制造 商用 它 的 遥感 勘测 系统 实时 地 收集 了 这 些 数 据 。 它 们 认为 如 果 车 
辆 的 上 自动 制 动 系统 在 茶 段 路 上 老 是 局 动 的 话 ， 就 广 明 这 段 路 比较 危险 ， 
应 该 考虑 更 换 路 径 。 所 以 Inrix 不 仅 能 够 推荐 最 便捷 的 路 径 ， 而 且 可 以 推 
存 最 安全 的 路 径 。 但 是 这 个 制造 商 并 不 想 和 别人 分 享 这 些 数据 ， 也 不 原 
分 至 它 的 全 球 定位 系统 收集 到 的 数据 。 相 反 ， 它 要 求 Inrix 只 能 在 它 生 产 
的 车 上 安 闭 这 个 系统 。 在 制造 商 看 来 ， 公 开 这 些 数 据 似 乎 比 汇聚 众人 的 
数据 一 起 来 提高 系统 的 整体 精确 性 更 有 价值 。 但 即便 如 此 Inrix 也 相信 ， 









































到 最 后 ， 所 有 的 汽车 制造 商都 会 意识 到 数据 共 孚 的 好 处 。Inrix 有 一 种 强 
A 
数据 来 源 。 


大 数据 时 代 中 的 公司 正在 体验 着 不 同 的 商业 模式 。 作 为 中 间 商 的 
Inrix 把 它 的 工作 重心 放 在 了 设计 上 ， 这 与 众多 科技 创业 公司 的 商业 模式 
不 同 。 微 软 掌 握 着 技术 的 核心 专利 ， 但 是 它 却 认为 ， 一 个 独立 的 小 公司 
可 能 更 容易 被 接受 ， 更 有 利于 汇聚 行业 内 各 方 的 数据 并 从 知识 产权 中 获 
利 最 大 。 还 有 ， 人 微软 用 来 分 析 病 患 再 入 住 率 的 Amalga 系 统 曾 经 就 是 华 盛 
顿 中 心 医院 自己 的 内 部 急症 室 软 件 Azyxxi， 这 是 医院 在 2006 年 卖 给 微软 
paren oe eee eg eee a eee 
潜在 价值 。 


2010 年 UPS 束 把 它 的 UPS Logistics Technologies 部 门 卖 给 了 一 家 叫 
Thoma Bravo 的 私人 股本 公司 。 如 今 ， 它 已 经 变 成 了 Roadnet 
Technologies， 可 以 为 多 家 公司 进行 线路 分 析 。Roadnet 从 客户 手中 收集 
大 量 数 据 ， 同 时 为 UPS 和 它 的 苋 争 者 提供 行业 内 广 受 认可 的 标杆 性 服 
务 。Roadnet 的 首席 执行 官 兰 .肯尼迪 (Len Kennedy) 解释 说 , “如果 是 
UPS Logistics， 那 么 UPS 的 竞争 对 手 肯 定 不 会 交 出 它们 的 数据 ， 因 此 ， 
只 有 让 它 变 成 一 个 独立 的 公司 ，UPS 的 竞争 对 手 才 会 愿意 拿 出 它们 的 数 
据 。” 最 终 ， 每 个 公司 都 从 中 受益 了 ， 因 为 数据 汇集 之 后 ， 系 统 的 精确 
性 就 更 高 了 。 


认为 数据 目 身 而 不 是 技术 和 思维 更 值钱 的 想法 ， 在 大 数据 时 代 的 多 
笔 商 业 交 易 中 都 有 所 体现 。2006 年 ， 微 软 以 1.1 亿 美元 的 价格 购买 了 挨 
齐 奥 尼 的 大 数据 公司 Farecast。 而 两 年 后 ， 谷 歌 以 7 亿美 元 的 价格 购买 了 
为 Farecast 提 供 数 据 的 ITA Software 公 司 。 


专家 的 消亡 与 数据 科学 家 的 凯 起 


在 《点 球 成 金 》 这 部 关于 奥克兰 运动 家 棒球 队 如何 通 过 利用 统计 学 
和 数学 建 模 的 方式 分 析 数 字 ， 从 而 取得 最 终 胜 利 的 电影 中 ， 有 一 个 有 趣 
的 场景 ， 就 是 灰 头 发 的 老 球 探 们 坐 在 一 劳 评论 球员 。 观 众 不 得 不 因此 感 
到 长 缩 ， 不 仅 因为 它 体 现 了 人 类 做 决定 时 完全 不 依 徘 数据 的 草率 ， 而 且 
因为 我 们 都 经 历 过 这 种 依赖 情感 而 不 是 科学 进行 判断 的 情况 。 


一 个 球 探 说, “他 不 错 ， 有 天 赋 .…… 而 且 长 得 也 不 错 。” 

































































AWRA WAT as ke SoS BAe, “他 击 打动 作 不 
fa, ER BCH ER — PPM A ae.” 


另 一 个 球 探 也 附和 说 ,，“ 击 打 很 大 声 。” 
有 一 个 球 探 打 断 了 对 话 ， 说 ,，“ 他 女 朋友 真 卫 。” 

会 议 的 负责 人 说 ，“ 那 是 什么 意思 ? ” 

那个 人 似乎 很 肯定 地 说 ，“ 女 朋友 丑 说 明 没 自信 呀 ! ” 
“很 好 ! ”负责 人 对 回答 很 满意 ， 然 后 会 议 继续 。 


开 了 一 会 玩笑 之 后 ， 一 个 一 直 没 说 话 的 球 探 说 , “这 个 人 有 很 大 的 
人 我 的 意思 是 ， 他 还 SH SBI. 对 手 就 已 经 提前 感受 到 了 他 的 气 





Ty TABLA “他 通过 E V KAHIR, 长 得 不 错 。 他 随时 都 能 打 
球 ， 只 是 需要 后 儿 上 场 时 间 。 


那个 常年 持 不 赞同 意见 的 人 反复 说 ，“ 我 就 是 说 说 ， 他 的 女 朋友 真 
ERIT Ee” 


这 个 场景 完全 展示 了 人 类 判断 的 误区 。 一 个 似乎 经 过 了 理智 讨论 的 
ee 签约 一 个 几 百 万 
美元 年 薪 的 球员 ， 也 只 是 看 感觉 ， 没 有 什么 客观 标准 的 。 是 的 ， 这 只 是 
电影 中 的 场景 ， 但 是 生活 中 这 种 情况 也 多 得 是 这 个 场景 之 所 以 具有 庙 
刺 意 味 ， 束 是 因为 这 是 普遍 存在 的 ， 从 曼哈顿 的 会 议 室 、 美 国 总 统 办 公 
室 到 街角 咖啡 馆 ， 任 何 地 方 ， 这 种 空 泛 的 推理 都 到 处 盛行 。 


影片 《点 球 成 金 》 改 编 自 迈克 尔 ` 刘 易 斯 的 《 魔 球 一 一 逆境 中 制胜 
的 智慧 》。 讲 述 的 是 一 个 真实 的 故事 ， 介 绍 奥 死 兰 运动 家 棒球 队 《 又 称 
绿 帽 队 或 白 象 队 ) 总 经 理 比 利 : 比 恩 〈Billy Beane) 的 经 营 哲 学 ， 描 写 了 
他 抛弃 几 百 年 一 直 依 赖 的 选择 球员 的 传统 惯例 ， 采 用 了 一 种 依靠 电脑 程 
序 和 数学 模型 分 析 比 赛 数 据 来 选择 球员 的 方法 。 他 并 没有 采用 那些 
像 “ 棒 球 击 球 率 ” 这 样 传统 的 标准 ， 而 是 采用 了 看 上 去 很 奇怪 的 、 类 
似 “< 上 笃 率 ”这 样 的 标准 。 这 个 方法 及 现 了 这 项 体育 赛事 的 为 一 面 ， 始 终 
存在 却 一 直 被 急 略 了 的 一 面 。 一 个 球员 怎样 上 垒 并 不 要 紧 ， 不 管 是 地 深 




















Bide = Arh, REWER TA. SASH ATA ANSE, 
即使 这 会 让 比赛 更 有 看 头 ， 比 利 ' 比 恩 也 个 会 再 关注 这 种 华而不实 的 技 
能 。 


在 一 片 批评 与 质疑 声 中 ， 比 恩 的 “ 赛 们 计量 学 ”(《Sabermetrics) 在 奥 
克 兰 运动 家 棒球 队 的 办 公 室 里 被 铭记 了 下 来 ， 这 是 以 体育 新 闻 记 者 比尔 
:詹姆斯 (Bill James) 在 美国 高 级 棒球 研究 协会 (Society for Advanced 
Baseball Research) 中 的 工作 命名 的 。 直 到 现在 ， 美 国 高 级 棒球 研究 协 
会 一 直 是 一 种 奇特 的 亚 文 化 的 中 心 。 比 恩 打 破 一 切 常规 惯例 ， 就 如 同 伽 
利 略 用 “太阳 中 心 论 ?来 挑战 天 主教 的 权威 一 样 。 最 终 ， 比 恩 带领 这 文 备 
受 争 议 的 球 队 在 2002 年 的 美国 联盟 西部 赛 中 生得 冠军 ， 还 取得 了 20 场 连 
胜 的 战绩 。 从 那 以 后 ， 统 计 学 家 取代 球 探 成 为 了 棒球 专家 ， 很 多 其 他 球 
队 也 开始 争 相 采用 “ 赛 伯 计量 学 ?来 指导 球 队 运作 。 


同样 地 ， 人 类 从 依靠 自身 判断 做 决定 到 依靠 数据 做 决定 的 转弯， 也 
是 大 数据 做 出 的 最 大 页 献 之 一 。 行 业 专 家 和 技术 专家 的 光芒 都 会 因为 
统计 学 家 和 数据 分 析 家 的 出 现 而 变 瞳 ， 因 为 后 者 不 受 旧 观念 的 影响 ， 
能 够 聆听 数据 发 出 的 声音 。 他 们 的 判断 建立 在 相关 关系 的 基础 上 ， 没 
有 受到 偏见 和 成 见 的 有 影响， 这 束 如 同 英 里 中 校 不 把 干 瘦 的 船长 在 酒吧 哆 
酒 时 所 说 的 航道 信息 当真 一 样 。 他 们 的 判断 完全 依赖 于 汇集 起 来 的 数据 
所 显示 出 的 实际 信息 ， 所 以 有 着 牢靠 的 根基 。 更 里 所 采用 的 方法 并 没有 
解释 风向 和 水 流 为 什么 是 这 样 的 原因 ， 但 是 对 于 想 安 全 航海 的 航海 家 来 
说 ,，“ 什 么 ”和 “哪里 ” 比 “ 为 什么 ”更 加 重要 。 


如 今 ， 我 们 正在 见证 专家 在 各 个 领域 影响 力 的 减弱 。 在 传媒 界 ， 
URARI” (Huffington Post) 和 高 客 网 (Gawker) 这 些 网 站 上 传 
播 的 新 闻 通 常 取决 于 数据 ， 而 不 再 取决 于 编辑 的 新 闻 敏 感度 。 数 据 比 有 
经 验 的 记者 更 能 揭示 出 哪些 是 符合 大 众 口味 的 新 闻 。Coursera， 一 家 网 
上 教育 公司 ， 深 度 地 研究 它 收集 的 所 有 数据 ， 比 如 学 生 重 放 过 讲座 视频 
的 哪个 片段 ， 从 而 找 出 不 明确 或 者 很 吸引 人 的 地 方 ， 然 后 反馈 给 设计 课 
程 的 团队 。 这 在 以 前 是 做 不 到 的 ， 所 以 老师 的 教育 方法 一 定 会 改变 。 束 
像 我 们 在 前 文 提 到 过 的 ， 当 贝 索 斯 发 现 算 法 推荐 能 促进 销量 增加 的 时 
候 ， 他 就 不 再 使 用 公司 的 书籍 评论 员 了 。 


这 都 意味 着， 与 时 候 进 才 是 在 职业 领域 取得 成 功 的 必 备 技能 ， 这 样 
的 员工 能 随时 满足 公司 对 他 们 的 期 望 。 安 大 略 的 支 格雷 戈 医生 不 需要 是 
医院 里 最 好 的 医生 ， 也 不 需要 是 产 前 护理 的 世界 权威 ， 束 能 给 早产 儿 提 
供 极 好 的 治疗 ， 因 为 她 条 用 的 治疗 方法 是 电脑 在 处 理 了 近 十 年 的 病 患 记 







































































录 数 据 之 后 推荐 的 。 事 实 上 ， 她 也 有 计算 机 科学 专业 的 博士 学 位 。 


正如 我 们 所 见 ， 大 数据 的 先锋 们 通常 并 不 来 自 于 他 们 做 出 了 极 大 页 
献 的 领域 。 他 们 是 数据 分 析 家 、 人 工 智 能 专家 、 数 学 家 或 者 统计 学 家 ， 
但 是 他 们 把 他 们 所 擎 握 的 技能 运用 到 了 各 个 领域 。Kaggle 的 首席 执行 官 
安东尼 . 戈 德 布 鲁 姆 (Anthony Goldbloom) 说 ， 在 这 个 大 数据 项 目 竞赛 
平台 上 取得 胜利 的 人 通常 不 来 自 于 他 们 做 出 成 绩 的 领域 。 


一 个 瑞 国 物理 学 家 设计 了 一 个 算法 系统 来 预测 保险 索赔 和 友 现 二 手 
车 的 质量 问题 ， 这 个 系统 差点 就 获胜 了 ; 还 有 一 个 新 加 坡 的 精算 师 在 一 
个 预测 人 体 对 化 合 物 的 生理 反应 项 目 中 取得 了 胜利 ， 同 时 ， 在 谷歌 的 机 
露 翻译 团队 中 ， 这 些 工 程 师 们 都 不 会 说 他 们 翻译 出 的 语言 ， 类 似 的 还 
有 ， 微 软 机 器 翻译 部 门 的 统计 学 家 们 在 共 余 饭 后 的 谈资 就 是 说 每 次 一 有 
语言 学 家 离开 他 们 团队 ， 翻 译 的 质量 就 会 变 好 一 点 。 


当然 ， 行 业 专家 是 不 会 真正 消亡 的 ， 只 是 他 们 的 主导 地 位 会 发 生 改 
变 。 未 来 ， 大 数据 人 才 会 与 他 们 一 样 身 居 遍 位， 就 像 趾 高 气 扬 的 因果 天 
系 必 须 与 卑微 的 相关 关系 分 享 它 的 共产 一 样 。 这 改变 了 我 们 怎样 看 待 知 
识 的 价值 ， 因 为 我 们 往往 倾 问 于 把 专业 人 才 看 得 比 全 才 更 重要 ， 也 就 是 
说 深度 就 是 财富 。 然 而 ， 专 业 技 能 束 像 精确 性 一 样 ， 只 适用 于 “小 数 
据 ? 时 代 ， 当 时 人 类 和 掌握 的 数据 永远 不 够 多 也 不 够 准确 ， 所 以 需要 依赖 
直觉 和 经 验 指导 。 在 那个 时 代 ， 经 验 是 先决 的 ， 因 为 只 有 通过 这 种 无 法 
从 书本 上 和 别人 口中 得 到 的 、 埋 藏 在 潜意识 里 的 知识 的 积累 ， 我 们 才能 
做 出 更 明智 的 决定 。 


但 是 当 你 遭 过 海量 数据 的 时 候 ， 你 就 能 通过 挖掘 数据 而 得 到 更 多 。 
所 以 大 数据 分 析 家 会 把 过 去 看 成 是 迷信 和 成 规 ， 这 不 是 因为 他 们 更 聪 
明 ， 而 是 因为 他 们 拥有 了 这 个 财富 之 源 一 一 数据 。 同 时 ， 作 为 外 行人 ， 
他 们 不 会 被 行业 内 的 争论 所 限制 ， 因 为 他 们 不 会 被 自己 所 文 持 一 方 的 观 
点 所 影 啊 而 产生 俩 见 ， 这 是 他 们 与 行业 专家 不 一 样 的 地 方 。 这 一 切 都 意 
味 厦 ， 一 个 员工 是 人 否 对 公司 有 页 献 的 判断 标准 改变 了 。 这 也 就 意味 看 ， 
CR 










































































数学 和 统计 学 知识 ， 甚 至 是 有 少许 编程 和 网 络 科学 的 知识 将 会 成 为 
现代 工厂 的 基础 ， 一 如 百年 前 的 计算 能 力 或 者 更 早 之 前 的 文学 。 人 类 的 
价值 将 不 再 体现 在 与 思维 类 似 的 同行 的 交际 上 ， 而 体现 在 与 各 行 各 业 的 
人 的 交际 上 ， 因 为 这 样 知 识 就 能 广泛 而 深刻 地 进行 传播 。 过 去 ， 要 成 为 
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征 如 今 ， 不 只 是 专业 技能 的 深度 很 重要 ， 大 数据 的 广度 也 变 得 很 重要 。 
要 想 解决 一 个 生物 难题 ， 或 许 与 天 体 物 理学 家 或 者 数据 视图 设计 师 联系 
就 可 以 实现 。 


在 电子 游戏 领域 ， 大 数据 的 普通 人 才 早 已 经 和 高 级 专家 站 在 了 一 
起 ， 他 们 正在 一 同 改变 这 个 行业 。 该 行业 每 年 收入 近 100 亿 美元 ， 比 好 
莱 坞 的 票房 收入 还 要 多 。 过 去 ， 游 戏 公 司 会 设计 一 个 游戏 ， 发 布 它 ， 指 
望 它 能 一 炮 而 红 。 然 后 ， 公 司 会 考虑 到 销售 情况 ， 要 么 继续 推出 升级 
版 ， 要 么 开始 研发 新 游戏 。 游 戏 的 速度 、 人 物 、 情 节 、 物 品 和 事件 的 设 
定 都 是 基于 设计 师 的 创造 力 ， 这 些 设计 师 对 符 工 作 的 认真 程度 就 像 米 开 
朗 基 罗 画 西 斯 廷 教堂 时 一 样 。 但 是 ， 这 是 一 门 艺 术 而 不 是 科学 ， 艺 术 讲 
完 的 是 直觉 和 情感 ， 就 像 《 点 球 成 金 》 中 球 探 们 所 表现 的 一 样 ， 然 而 那 
ANI REALE. 


zynga 的 FarmVille，FrontierVille，FishVille 和 其 他 网 络 游戏 都 是 交 
互 式 游戏 。 表 面 上 ， 这 些 游戏 允许 zynga 收 集 用 户 数 据 以 及 在 这 些 数据 
的 基础 上 对 游戏 进行 修改 ， 而 事实 上 ， 这 些 游戏 远 远 不 止 一 个 版 本 。 
为 公司 可 以 收集 到 游戏 中 的 数据 ， 所 以 一 旦 有 玩家 难以 过 关 或 者 因为 茶 
一 关 不 对 劲 而 不 想 再 玩 了 的 时 候 ，zynga 融 能 通过 这 些 数 据 发 现 问 题 ， 
然后 对 游戏 进行 修改 ; 但 是 更 加 隐 性 的 是 ， 该 公司 会 针对 不 同 的 玩家 设 
TAA, AFarmVillest Ae ILA MRA. 


这 个 公司 的 大 数据 分 析 家 们 通过 颜色 或 者 是 否 有 玩家 看 到 他 的 朋友 
正在 使 用 这 些 产品 ， 来 研究 虚拟 产品 的 销量 是 否 增加 了 。 比 方 说 ， 当 数 
据 显 示 EFishVille 的 玩家 购买 透明 鱼 的 数量 是 其 他 产品 的 6 倍 的 时 候 ， 
zynga 就 会 通过 多 出 售 透 明 鱼 而 谋取 更 高 利 油 。 在 Mafia Wars 中 ， 数 据 则 
显示 玩家 更 喜欢 购买 有 人 金边 的 武器 和 纯 白 的 宠物 老虎 。 这 些 都 不 是 一 个 
游戏 设计 师 在 工作 室 里 能 发 现 的 东西 ， 但 是 数据 就 能 把 这 些 信息 传递 出 
来 。zynga 的 首席 分 析 师 肯 : 鲁 丁 说 道 ,， “我们 打 着 游戏 公司 的 则 子 ， 实 际 
上 在 做 的 是 分 析 公 司 的 事 。 我 们 的 运作 都 是 以 数据 为 基础 的 。” 


这 种 转变 意义 非凡 。 大 部 分 人 往往 都 通过 经 验 、 回 忆 以 及 猜测 做 决 
定 ， 就 像 W.H. 奥 登 (Wystan Hugh Auden) 的 名 诗 中 所 说 的 “知识 退化 成 
骚乱 的 主观 腾 想 ， 那 是 太阳 神经 从 的 感情 引起 的 营养 不 足 ”。 坐 落 于 蕊 
陡 诸 蹇 州 的 巴 布 森 学 院 商 科教 授 托马斯 . 达 文 波 特 〈Thomas Davenport) 
是 多 部 数据 分 析 著 作 的 作者 ， 他 把 这 种 情感 称 为 “黄金 役 的 直觉 ”。 执 行 
官 们 信任 自己 的 直觉 ， 所 以 由 着 它 做 决定 。 但 是 ， 随 着 管理 决策 越 来 越 













































































受 预 测 性 分 析 和 大 数据 分 析 的 影响 和 控制 ， 依 靠 直觉 做 决定 的 情况 将 会 
被 彻底 改变 。 


大 数据 先锋 


The-Numbers.com 与 电影 票房 预测 





比方 说 ，The-Numbers.com 在 好 沫 坞 电影 上 了 上映 之 前 ， 就 能 利用 海量 
数据 和 特定 算法 预测 出 一 部 电影 的 票房 ， 而 这 些 信息 就 可 以 为 电影 制 片 
人 所 用 。 该 公司 拥有 一 个 包括 了 过 去 几 十 年 美国 所 有 商业 电影 大 约 3000 
HA 条 记录 的 数据 库 ; 数据 库 里 有 所 有 关于 预算 、 电影 流派 、 拍 摄 、 阵 
入 获得 天 项 和 收 人 等 数据 。 电 影 的 收入 是 指 在 北美 和 全 球 的 票房 、 海 
外 版 权 销 售 收入 、 影碟 销售 收入 以 及 租金 等 ，。 公司 创始 人 兼 总 裁 布鲁斯 
:纳什 (Bruce Nash) 说 ， 我 们 公司 开发 了 一 个 网 络 系统 ， 其 中 有 100 万 
条 类 似 “A 编 剧 曾 与 B 导 演 合 作 过 ，C 导 演 曾 与 D 演 员 合 作 过 ”这 样 的 联系 


信息 。 


该 公司 通过 找 出 这 样 复杂 的 相关 关系 来 预测 电影 的 收入 。 借 助 于 这 
个 预测 ， 电 影 制 片 人 可 以 同 工 作 室 或 投资 人 募 资 。The-Numbers.com 其 
至 可 以 告 诉 客户 改变 哪些 选择 可 以 增收 或 者 降低 风险 。 一 次 ， 它 的 分 析 
发 现 有 一 部 电影 要 是 启用 获得 过 奥斯卡 提名 的 、 身 价 在 500 万 美元 左右 
的 某 位 一 线 演员 做 男 一 号 的 话 ， 更 有 可 能 票房 大 卖 。 还 有 一 次 ， 纳 什 告 
诉 IMAX 工 作 室 ， 二 部 近海 纪录 片 二 要 把 项 算 从 12007 半 天 减少 罕 800 
AREWA. THT SOA Mie 可 乐 坏 了 制 片 人 ， 但 是 导演 就 不 高 兴 
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从 是 否 出 品 一 部 电影 到 签 下 哪个 三 垒 手 ， 公 司 的 决策 过 程 已 经 有 了 
本 质 且 明显 的 改变 。 麻 省 理工 学 院 商 学 院 教授 埃 里 克 : 布 伦 乔 尔 条 《〈Erik 
Brynjolfsson) 和 他 的 同事 一 起 进行 了 一 项 研究 ， 发 现 决策 依赖 数据 的 公 
司 的 运营 情况 比 不 重视 数据 的 公司 出 色 很 多 一 一 这 些 公司 的 生产 率 比 不 
使 用 数据 进行 决策 的 公司 局 6%。 这 是 一 个 重要 的 苋 争 力 ， 虽然 随 着 大 
数据 手段 被 越 来 越 多 的 公司 采用 ， 这 种 苋 争 力 会 慢 慢 前 弱 。 
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了 。 当 然 ， 每 个 公司 的 情况 各 有 不 同 。 大 公司 和 小 公司 最 有 可 能 成 为 局 
家 ， 而 大 部 分 中 等 规模 的 公司 则 可 能 无 法 在 这 次 行业 调整 中 符 到 甜头 。 








虽然 像 亚马逊 和 谷歌 一 样 的 行业 领头 羊 会 一 直 保 持 领 先 地 位 ， 但 是 
和 工业 时 代 不 一 样 ， 它 们 的 企业 竞争 力 并 不 是 体现 在 庞大 的 生产 规模 
上 。 己 经 拥有 的 技术 配备 规模 固然 很 重要 ， 但 那 也 不 是 ee 
H, PEWS LAS HES PRI M DARE TH TEE ST ACB AS Ci A fi A AE EB 
司 可 以 根据 实际 需要 调整 它们 的 计算 机 技术 力量 ， SE BELLA 
成 了 可 变 投入 ， 同 时 也 削弱 了 大 公司 的 技术 配备 规模 的 优势 。 


大 数据 洞察 


规模 仍然 很 重要 ， 但 是 如 今 重 要 的 是 数据 的 规模 ， 也 就 是 说 要 学 握 
大 量 的 数据 而 且 要 有 能 力 轻 松 地 获得 更 多 的 数据 。 所 以 ， 随 着 拥有 的 数 
E 因为 他 们 可 以 把 这 些 数据 转化 
5 价值 。 


大 数据 问 小 数据 时 代 的 赢家 以 及 那些 线 下 大 公司 〈 如 证 尔 玛 、 联 邦 
Pi, TAR), ERA. MAAR) 提出 了 挑战 ， 后 者 必须 意识 到 
大 数据 的 威力 然后 有 集 略 地 收集 和 使 用 数据 。 同 时 ， 科 技 创 业 公司 和 新 
兴 行 业 中 的 老牌 企业 也 准备 收集 大 量 的 数据 。 


在 过 去 十 年 里 ， 航 空 发 动机 制造 商 劳 斯 莱 斯 通过 分 析 产 品 使 用 过 程 
中 收集 到 的 数据 ， 实 现 了 商业 模式 的 转型 。 坐 落 于 英格兰 德比 郡 的 劳 斯 
莱 斯 运营 中 心 一 直 监 控 着 全 球 范 围 内 超过 3700 架 飞机 的 引擎 运行 情况 ， 
为 的 就 是 能 在 故障 发 生 之 前 发 现 问题 。 数 据 帮 助 劳 斯 莱 斯 把 简单 的 制造 
苇 变 成 了 有 附加 价 全 的 商业 行为 : Se RAT ERIN, E 
计 费 的 方式 提供 有 偿 监 控 服 务 〈 一 旦 出 现 问 题 ， 还 进一步 提供 维修 和 更 
HRZ) 。 如 今 ， 民 用 航空 :发 动机 部 门 大 约 70% 的 年 收入 都 是 来 自 其 提 
供 服务 所 赚 得 的 费用 。 


大 数据 先锋 
苹果 ， 挖 出 “潜伏 ”的 数据 价值 


苹果 公司 进 苗 移动 手机 行业 残 是 一 个 很 好 的 例子 。 在 iPhone 推 出 之 

， 移 动 运营 商 从 用 户 手 中 收集 了 大 量具 有 潜在 价值 的 数据 ， 但 是 没 能 
深入 挖掘 其 价值 相反 ， 侠 果 公 司 在 与 运营 商 签 订 的 合约 中 规定 运营 丙 
要 提供 给 它 大 部 分 的 有 用 数据 。 通 过 来 自 多 多 个 运 富商 迁 供 的 大 量 数 据 ， 
苹果 公司 所 得 到 的 关于 用 户 体 验 的 数据 比 任 何 一 eas Bo WR 
公司 的 规模 效益 体现 在 了 数据 上 ， 而 不 是 固有 资 






























































大 数据 也 为 小 公司 融 来 了 机 遇 。 用 埃 里 克 教 授 的 话说 就 是 ， 聪 明 而 
灵活 的 小 公司 能 至 受到 非 固 有 资产 规模 带 来 的 好 处 。 这 也 束 是 说 ， 它 们 
可 能 没有 很 多 的 固有 资产 但 是 存在 感 非 第 强 ， 也 可 以 低 成 本 地 传播 它们 
的 创新 成 果 。 重 要 的 是 ， 因 为 最 好 的 大 数据 服务 都 是 以 创新 思维 为 基础 
的 ， 所 以 它们 不 一 定 需要 大 量 的 原始 资本 投入 。 数 据 可 以 授权 但 是 不 能 
被 占有 ， 数 据 分 析 能 在 云 处 理 平台 上 快速 而 且 低 成 本 地 进行 ， 而 授权 费 
用 则 应 从 数据 带 来 的 利益 中 抽取 一 小 部 分 。 


大 大 小 小 的 公司 都 能 从 大 数据 中 获 利 ， 这 个 情况 很 有 可 能 并 不 只 是 
适用 于 使 用 数据 的 公司 ， 也 适用 于 掌握 数据 的 公司 。 大 数据 拥有 者 想 尽 
办 法 想 增 加 它们 的 数据 存储 量 ， 因 为 这 样 能 以 极 小 的 成 本 带 来 更 大 的 利 
润 。 首 先 ， 它 们 已 经 具备 了 存储 和 处 理 数 据 的 基础 。 其 次 ， 数 据 库 的 融 
合 能 带 来 特有 的 价值 。 最 后 ， 数 据 使 用 者 如 果 只 需要 从 一 人 手中 购 得 数 
据 ， 那 将 更 加 省 时 省 力 。 不 过 实际 情况 要 远 远 复杂 得 多 ， 可 能 还 会 有 一 
群 处 在 男 一 方 的 数据 拥有 者 (个 人 〉 诞生 。 因 为 随 着 数据 价值 的 显现 ， 
很 多 人 会 想 以 数据 拥有 者 的 身份 大 展 身 手 ， 他 们 收集 的 数据 往往 是 和 目 
身 相 关 的 ， 比 如 他 们 的 购物 习惯 、 观 影 习 惯 ， 也 许 还 有 医疗 数据 等 。 


这 使 得 消费 者 拥有 了 比 以 前 更 大 的 权利 。 消 费 者 可 以 目 行 决定 把 这 
些 数 据 中 的 多 少 授权 给 哪些 公司 。 当 然 ， 不 是 每 个 人 都 只 在 乎 把 他 的 数 
据 卖 个 蜗 价 ， 很 多 人 愿意 免费 提供 这 些 数据 来 换取 更 好 的 服务 ， 比 如 想 
得 到 亚马逊 更 准确 的 图 书 推 荐 。 但 是 对 于 很 大 一 部 分 对 数据 敏感 的 消费 
者 来 说 ， 营 销 和 出 售 他 们 的 个 人 信息 就 像 写 博客 、 发 Twitter 信息 和 在 维 
基 百 科 检 索 一 样 目 然 。 


然而 ， 这 一 切 的 发 生 不 只 是 消费 者 意识 和 豆 好 的 转变 所 能 促成 的 。 
现在 ， 无 论 是 消费 者 授权 他 们 的 信息 还 是 公司 从 个 人 手中 购 得 信息 都 还 
过 于 郧 贯 和 复杂 。 这 很 可 能 会 催生 出 一 些 中 间 商 ， 它 们 从 众多 消费 者 手 
中 购 得 信息 ， 然 后 夹 给 公司 。 如 果 成 本 够 低 ， 而 消费 者 又 足够 信任 这 样 
的 中 间 丙 ， 那 么 个 人 数据 市 场 束 很 有 可 能 诞生 ， 这 样 个 人 就 成 功 地 成 为 
本 数据 拥有 者 。 美 国 胀 省 理工 学 院 媒 体 实验 室 的 个 人 数据 分 析 专 家 桑 迪 
- 彭 特 兰 与 人 一 起 创办 的 ID 公司 已 经 在 致力 于 让 这 种 模式 变 为 现实 。 


只 有 当 这 些 数据 中 间 商 诞生 并 开始 运营 ， 而 数据 使 用 者 也 开始 使 用 
这 些 数据 的 时 候 ， 消 费 者 才能 真正 变 成 数据 掌握 者 。 如 今 ， 消 费 者 在 等 
竺 足够 的 设备 和 适当 的 数据 中 间 商 的 出 现 ， 在 这 之 前 ， 他 们 希望 目 己 氢 
露 的 信息 越 少 越 好 。 忌 之， 一 旦 条 件 成 熟 ， 消 费 者 束 能 从 真正 意义 上 成 
为 数据 掌握 者 了 。 




































































不 过 ， 大 数据 对 中 等 规模 的 公司 帮助 并 不 大 。 波 土 顿 咨询 集团 的 资 
深 技术 和 商业 顾问 菲 利 浦 - 埃 文 斯 Philip Evans) 说 ， 超 大 型 的 公司 占 
据 了 规模 优势 ， 而 小 公司 则 具有 灵活 性 。 在 传统 行业 中 ， 中 等 规模 的 公 
司 比 大 公司 更 有 灵活 性 ， 比 小 公司 更 有 规模 。 但 是 在 大 数据 时 代 ， 一 个 
公司 没 必 要 非 要 达到 茶 种 规模 才能 文 付 它 的 生产 设备 所 需 投 入 。 大 数据 
Ee re tam eres ESE eee 
头 并 购 ) 。 


大 数据 洞察 


大 数据 让 处 于 行业 两 问 的 公司 受益 恨 多 ， 而 中 等 规模 的 公司 要 么 同 
两 端 转换 ， 要 么 破产 。 传 统 行 业 最 终 都 会 转变 为 大 数据 行业 ， 无 论 是 金 
融 服务 业 、 医 药 行 业 还 是 制造 业 。 当 然 ， 大 数据 不 会 让 所 有 行业 的 中 等 
规模 的 公司 消亡 ， 但 是 肯定 会 给 可 以 被 大 数据 分 析 所 取代 的 中 等 规模 公 
Fl PREAH BU 


大 数据 也 会 撼动 国家 竞争 力 。 当 制造 业已 经 大 幅 转 回 发 展 中 国家 ， 
而 大 家 都 争 相 发 展 创新 行业 的 时 候 ， 工 业 化 国家 因为 掌握 了 数据 以 及 大 
数据 技术 ， 所 以 仍然 在 全 球 竞 争 中 占据 优势 。 不 于 的 是 ， 这 个 优势 很 难 
持续 。 束 像 互 联网 和 计算 机 技术 一 样 ， 随 着 世界 上 的 其 他 国家 和 地 区 都 
开始 采用 这 些 技术 ， 西 方 世 界 在 大 数据 技术 上 的 领先 地 位 将 慢 慢 消失 。 
对 于 发 达 国 家 的 大 公司 来 说 ， 好 消息 就 是 大 数据 会 加 剧 优胜 劣 汰 。 所 以 
人 
aE 


大 数据 洞察 


苋 争 正如 火 如 茶 地 进行 。 束 像 谷歌 的 检索 系统 需要 用 户 数 据 才能 完 
好 运行 ， 德 国 的 汽车 零件 供应 商 需 要 反馈 的 数据 来 提高 它 的 零件 质量 ， 
所 有 的 公司 都 能 通过 巧妙 地 挖掘 数据 价值 而 获得 利益 。 数 据 能 够 优化 生 
产 和 服务 ， 甚 至 能 催生 新 的 行业 。 


不 过 ， 就 算 有 这 么 多 好 处 ， 我 们 依然 有 担忧 的 理由 。 因 为 随 痢 大 数 
据 能 够 越 来 越 精确 地 预测 世界 的 事情 以 及 我 们 所 处 的 位 置 ， 我 们 可 能 还 
没有 准备 好 接受 它 对 我 们 的 隐私 和 决 倘 过 程 带 来 的 影响 。 我 们 的 认 知 和 
制度 都 还 不 习惯 这 样 一 个 数据 充裕 的 时 代 ， 因 为 它们 都 建立 在 数据 稀缺 
的 基础 之 上 。 下 一 个 革 节 ， 我 们 将 探讨 大 数据 所 带 来 的 不 恨 影响 。 




































































[1] 其 余 三 个 是 Amadeus，Travelport and Sabre。 一 一 作者 注 

[2] 全 美 最 大 的 实体 书店 。 一 一 译 者 注 

B] 全 球 最 有 影响 力 的 线 下 拍卖 行 。 一 一 译 者 注 

[4] 指 的 是 Paypal 公 司 的 前 领导 人 皮特 : 泰 尔 (Peter Thiel) 、 雷 德 ， 
ERS (Reid Hoffman) AR Sach sec aT (Max Levchin) 。 
作者 注 

[5] 因为 这 是 来 自 一 个 分 析 师 在 处 理 大 量 数 据 的 基础 上 得 到 的 结 


Ñ» 0 所 以 我 们 在 此 不 方便 披露 该 公司 的 名 字 。 
注 














第 三 部 分 大 数据 时 代 的 管理 变革 
07 风险 : 让 数据 主 罕 一 切 的 隐忧 


我 们 时 刻 都 暴露 在 “第 三 只 眼 ? 之 下 : 亚马逊 监视 着 我 们 的 购物 习 
惯 ， 谷 歌 监视 着 我 们 的 网 页 浏览 习惯 ， 而 微 博 似 乎 什么 都 知道 ， 不 仅 守 
听 到 了 我 们 心中 的 *TA”， 还 有 我 们 的 社交 关系 网 。 


无 处 不 在 的 “第 三 只 眼 ” 


1989 年 ， 相 林 墙 倒 场 ， 之 前 的 近 40 年 间 ， 民 主 德国 国家 安全 
局 “Stasi" 履 用 了 十 万 左右 的 全 职 间 读 ， 时 刻 在 街 上 开车 监视 着 成 后 上 万 
民众 的 一 举 一 动 。 他 们 拆 看 信件 、 偷 完 银 行 账户 信息 、 在 民众 家 中 安装 
rast A Ur Th. MANERA RA, SCREAM FAD BA 
导致 人 与 人 之 间 丧 失 了 最 基本 的 信任 。 绪 有 末 ， 详 细 记 录 普 通 人 最 私密 生 
活 信 息 的 文件 至 少 包括 了 3900 万 张 索 引 卡 片 和 铺 开 足 有 113 公 里 长 的 文 
档 。 民 主 德国 是 一 个 史无前例 的 受到 如 此 全 面 监控 的 国家 。 


德国 统一 20 年 之 后 ， 更 多 的 个 人 信息 被 采集 和 存储 了 下 来 。 我 们 时 
刻 都 暴露 在 “第 三 只 眼 * 之 下 ， 不 管 我 们 是 在 用 信用 卡 支付 、 打 电话 还 是 
使 用 身份 证 。2007 年 ， 英 国 的 一 家 报社 曾 讽刺 地 报道 ， 在 乔治 . 奥 威 尔 
创作 《一 九 八 四 》 的 地 方 ， 也 就 是 他 的 伦敦 公 富 外 60 米 范围 内 ， 起 码 有 
30 多 架 摄像 机 在 监视 着 他 的 一 举 一 动 。 


互联 网 出 现 之 前 ， 如 芯 可 飞 和 益 百 利 这 样 的 专业 数据 收集 公司 就 采 
集 、 记 录 了 全 球 范 围 内 大 约 几 百 万 人 口 的 数据 ， 而 它们 提供 的 每 个 人 的 
个 人 数据 束 多 达 好 几 百 份 。 而 互联 网 的 出 现 使 得 监视 变 得 更 容易 、 成 本 
更 低廉 也 更 有 用 处 。 如 今 ， 己 经 不 只 是 政府 在 暗中 监视 我 们 了 。 亚 蕊 壕 
监视 着 我 们 的 购物 习惯 ， 谷 歌 监 视 着 我 们 的 网 页 浏览 习惯 ，Twitter 狐 听 
eee Facebook 似 乎 什么 都 知道 ， 包 括 我 们 的 社交 关系 
RX] 。 


进行 大 数据 分 析 的 人 可 以 轻松 地 看 到 大 数据 的 价值 潜力 ， 这 极 大 地 
刺激 着 他 们 进一步 采集 、 存 储 、 循 环 利 用 我 们 个 人 数据 的 野心 。 随 着 存 
储 成 本 继续 暴跌 而 分 析 工 具 越 来 越 先 进 ， 采 集 和 存储 数据 的 数量 和 规模 
将 爆发 式 地 增长 。 如 果 说 在 互联 网 时 代 我 们 的 隐私 受到 了 威胁 ， 那 么 大 



























































数据 时 代 是 否 会 加 深 这 种 威胁 呢 ? 这 就 是 大 数据 的 不 利 影响 吗 ? 


答案 是 肯定 的 。 大 数据 还 会 带 来 更 多 的 威胁 ， 毕 竞 ， 大 数据 的 核 
心思 想 就 是 用 规模 剧 增 来 改变 现状 。 我 们 也 将 分 析 它 是 如 何 加 深 对 我 
们 隐私 的 威胁 的 ， 同 时 还 将 面 对 一 个 新 的 挑战 ， 即 运用 大 数据 预测 来 判 
晰 和 签 避 人 类 的 湾 在 行为 。 这 是 对 公平 公正 以 及 目 由 意志 的 一 种 奢 渎 ， 
同时 也 轻视 了 决策 过 程 中 深思 熟 碟 的 重要 性 。 


除了 对 隐私 和 倾 问 的 不 恨 影响 ， 大 数据 还 有 一 个 弊端 。 我 们 冒险 把 
罪犯 的 定罪 权 放 在 了 数据 手中 ， 借 以 表达 我 们 对 数据 和 我 们 的 分 析 结 果 
的 崇尚 ， 但 是 这 实际 上 是 一 种 滥用 。 应 用 得 当 ， 大 数据 会 是 我 们 合理 决 
朱 过 程 中 的 有 力 武 器 ; 倘 硝 运用 不 当 ， 它 就 可 能 会 变 成 权贵 用 来 镇 压 民 
众 的 工具 ， 轻 则 伤害 顾客 和 员工 的 利益 ， 重 则 损害 公民 的 人 里 安全 。 我 
们 所 冒 的 风险 比 想象 中 还 要 大 。 如 果 在 隐私 和 预测 方面 对 大 数据 管理 不 
ee i eee ce EEE ae 
下 重 得 多 。 


20 世 纪 ， 我 们 见证 了 太 多 由 于 数据 利用 不 合理 所 导致 的 惨剧 。 比 如 
1943 年 ， 美 国人 口 普 查 局 递交 了 地 址 数据 来 帮助 美国 政府 拘留 日 诊 美 国 
人 《当时 它 没 有 提交 街道 名 字 和 具体 街 号 的 数据 ， 居 然 幻想 着 这 样 能 保 
护 隐私 ) ; 荷兰 著名 的 综合 氏 事 记 录 数 据 则 被 纳粹 分 子 用 来 搜捕 犹太 
As 纳粹 集中 营 里 徘 犯 的 前 臂 上 刺青 的 五 位 数 号 码 与 IBM 的 霍 瑞 斯 穿孔 
E ERA E ee 
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我 们 的 隐私 被 二 次 利用 了 


我 们 倾 回 于 从 数字 数据 的 增长 和 奥 威 尔 写 《1984》 时 所 处 “监视 炼 
狱 ” 的 角 反 去 理解 大 数据 给 个 人 隐私 带 来 的 威胁 。 但 是 事实 上 ， 不 是 所 
有 的 数据 都 包含 了 个 人 信息 。 其 实 ， 不 管 是 传 感 硕 从 炼油 三 采集 的 数 
据 、 来 自 工 三 的 机 器 数据 、 机 场 的 气象 数据 ， 还 古 沙 井盖 爆炸 数据 都 不 
包含 个 人 信息 。 英 国 石油 公司 和 纽约 爱迪生 联合 电力 公司 不 需要 《也 不 
想 要 ) 个 人 信息 ， 束 能 分 析 挖 掘 出 他 们 所 需要 的 数据 价值 。 事 实 上 ， 这 
方面 的 数据 分 析 并 不 威胁 个 人 隐私 。 


当然 ， 目 前 所 采集 的 大 部 分 数据 都 包含 有 个 人 信息 ， 而 且 存 在 着 各 
种 各 样 的 诱因 ， 让 我 们 想 尽 办 法 去 采集 更 多 、 存 储 更 久 、 利 用 更 彻底 ， 
甚至 有 的 数据 表面 上 并 不 是 个 人 数据 ， 但 是 经 由 大 数据 处 理 之 后 就 可 以 


退 溯 到 个 人 了 。 


比方 说 ， 如 今 在 美国 和 欧洲 部 署 的 一 些 智 能 电表 每 6 秒 钟 采 集 一 个 
实时 读数 ， 这 样 一 天 所 得 到 的 数据 比 过 去 传统 电表 收集 到 的 所 有 数据 还 
要 多 。 因 为 每 个 电子 设备 明 电 时 都 会 有 自己 独特 的 “负荷 特征 ”， 比 如 热 
水 右 不 同 于 电脑 ， 而 它们 与 Led 大 麻生 长 灯 上 D0 义 不 一 样 ， 所 以 能 源 使 用 情 
况 束 能 暴露 详 如 一 个 人 的 日 常 习惯 、 医 疗 条 件 和 非法 行为 这 样 的 个 人 信 

















然而 ， 我 们 要 探讨 的 主要 是 大 数据 是 否 改变 了 这 种 威胁 的 性 质 ， 而 
不 是 是 人 否 加 剧 了 这 种 威胁 。 如 果 仪 仪 是 加 剧 了 这 种 威胁 ， 那 么 我 们 现在 
采用 的 保护 隐私 的 法 律 法 规 依 然 是 有 效 的 ， 我 们 只 需要 付出 加 倍 的 努力 
来 确保 有 效 性 束 可 以 。 然 而 ， 倘 大 威胁 的 性 质 已 经 改变 了 ， 我 们 束 需 要 
寻求 新 的 解决 方案 。 


不 着 的 是 ， 我 们 的 担忧 一 语 中 的 。 大 数据 的 价值 不 再 单纯 来 源 于 
它 的 基本 用 途 ， 而 更 多 源 于 它 的 二 次 利用 。 这 就 颠覆 了 当下 隐私 保护 
法 以 个 人 为 中 心 的 思想 : 数据 收集 者 必须 告知 个 人 ， 他 们 收集 了 哪些 数 
据 、 作 何 用 途 ， 也 必须 在 收集 工作 开始 之 前 征 得 个 人 的 同意 。 虽 然 这 不 
古 进行 合法 数据 收集 的 唯一 方式 , “告知 与 许可 ”已 经 是 世界 各 地 执行 隐 
(ee ee eee 
那 是 男 一 回 事 〉。 


更 重要 的 是 ， 大 数据 时 代 ， 很 多 数据 在 收集 的 时 候 并 无 意 用 作 其 
他 用 途 ， 而 最 终 却 产生 了 很 多 创新 性 的 用 途 。 所 以 ， 公 司 无 法 告知 个 
人 尚未 想到 的 用 途 ， 而 个 人 亦 无 法 同意 这 种 尚 是 未 知 的 用 途 。 但 是 只 要 
没有 得 到 许可 ， 任 何 包 含 个 人 信息 的 大 数据 分 析 都 需要 问 个 人 征 得 同 
意 。 因 此 ， 如 果 谷 歌 要 使 用 检索 词 了 预测 流感 的 话 ， 必 须 征 得 数 亿 用 户 的 
意 ， 这 简直 无 法 想象 。 束 算 没 有 技术 障碍 ， 又 有 哪个 公司 能 负担 得 起 
样 的 人 力 物 力 文 出 呢 ? 


同样 ， 一 开始 的 时 候 残 要 用 户 同 意 所 有 可 能 的 用 途 ， 也 是 不 可 行 
的 。 因 为 这 样 一 来 ,“ 告 知 与 许可 ” 束 完 全 没有 意义 了 。 大 数据 时 代 ， 告 
知 与 许可 这 个 经 过 了 考验 并 且 可 信赖 的 基石 ， 要 么 太 狭 队 ， 限 制 了 大 数 
据 潜在 价值 的 挖掘 ， 要 么 就 太空 泛 而 无 法 真正 地 保护 个 人 隐私 。 


同时 ， 想 在 大 数据 时 代 中 用 技术 方法 来 保护 隐私 也 是 天 方 夜 齐 。 如 
果 所 有 人 的 信息 本 来 都 已 经 在 数据 库 里 ， 那 么 有 意识 地 避免 东 些 信息 
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就 是 此 地 无 银 三 百 两 。 我 们 把 谷歌 街景 作为 一 个 例子 来 看 ， 谷 歌 的 图 像 
采集 车 在 很 多 国家 采集 了 道路 和 房屋 的 图 像 〈 以 及 很 多 备 受 争议 的 数 

据 ) 。 但 是 ， 德 国 媒体 和 民众 强烈 地 抗议 了 谷歌 的 行为 ， 因 为 民众 认为 
这 些 图 片 会 帮助 黑帮 和 急 贼 选择 有 利 可 图 的 目标 。 有 的 业主 不 希望 他 的 房 
屋 或 花园 出 现在 这 坚 图 片上 ， 顶 着 巨大 的 压力 ， 谷 歌 同意 将 他 们 的 房屋 
或 花园 的 影像 模糊 化 。 但 是 这 种 模糊 化 却 起 到 了 反作用 ， 因 为 你 可 以 在 
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另 一 条 技术 途径 在 大 部 分 情况 下 也 不 可 行 ， 那 就 是 匿名 化 。 匿 名 
化 指 的 是 让 所 有 能 揭示 个 人 情况 的 信息 都 不 出 现在 数据 集 里 ， 比 方 说 名 
字 、 生 日 、 住 址 、 信 用 卡号 或 者 社会 保险 号 等 。 这 样 一 来 ， 这 些 数据 就 
可 以 在 被 分 析 和 共享 的 同时 ， 不 会 威胁 到 任何 人 的 隐私 。 在 小 数据 时 代 
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2006 年 8 月 ， 美 国 在 线 (AOL) 公布 了 大 量 的 旧 搜 索 查 询 数据 ， 本 
意 是 希望 研究 人 员 能 够 从 中 得 出 有 趣 的 见解 。 这 个 数据 库 是 由 从 3 月 1 日 
到 5 月 31 日 之 间 的 65.7 万 用 户 的 2000 万 搜索 查询 记录 组 成 的 ， 整 个 数据 
库 进 行 过 精心 的 匿名 化 一 ”用户 名 称 和 地 址 等 个 人 信息 都 使 用 特殊 的 数 
字符 号 进行 了 代替 。 这 样 ， 研 究 人 员 可 以 把 同一 个 人 的 所 有 搜索 查询 记 
录 联 系 在 一 起 来 分 析 ， 而 并 不 包含 任何 个 人 信息 。 


尽管 如 此 ，《 纽 约 时 报 》 还 是 在 几 天 之 内 通过 把 “60 岁 的 单 喘 男 
性 ”“ 有 益 健 康 的 茶叶 ”“ 利 尔 本 的 园丁 ”等 搜索 记录 综合 分 析 考 虑 
后 ， 发 现 数 据 库 中 的 4417749 号 代表 的 是 佐治 亚 州 利 尔 本 的 一 个 62 岁 罕 
妇 塞 尔 玛 . 阿 诡 德 (Thelma Arnold) 。 当 记者 找到 她 家 的 时 候 ， 这 个 老 
人 惊叹 道 :“ 天 呐 ! 我 真 没 想到 一 直 有 人 在 监视 我 的 私人 生活 。” 这 引起 
了 公愤 ， 最 终 美 国 在 线 的 首席 技术 官 和 男 外 两 名 员工 都 被 开 除了 。 


事 隔 仅仅 两 个 月 之 后 ， 也 就 是 2006 年 10 月 ，DVD 租 赁 商 奈 飞 公 司 做 
了 一 件 差 不 多 的 事 ， 就 是 宣布 启动 “Netflix Prize” 算 法 竞赛 。 该 公司 公布 
了 大 约 来 自 50 万 用 户 的 一 亿 条 租赁 记录 ， 并 且 公 开 悬 赏 100 万 美金 ， 举 
办 一 个 软件 设计 大 赛 来 提高 他 们 的 电影 推荐 系统 的 准确 度 ， 胜 利 的 条 件 
是 把 准确 度 提 高 10%。 同 样 ， 奈 飞 公司 也 对 数据 进行 了 精心 的 匿名 化 处 
理 。 然 而 还 是 被 一 个 用 户 认 出 来 了 ， 一 个 化 名 “无 名 氏 ” 的 未 出 柜 的 同性 
恋 母 杀 起 诉 了 奈 飞 公司 ， 她 来 自 保守 的 美国 中 西部 。 





















































通过 把 奈 飞 公司 的 数据 与 其 他 公共 数据 进行 对 比分 析 ， 得 克 萨 斯 大 
学 的 研究 人 员 很 快 发 现 ， 匿 名 用 户 进行 的 收视 率 排 名 与 互联 网 电影 数据 
fe (IMDb) 上 实名 用 户 所 排 的 是 匹配 的 。 


大 数据 的 力量 


概括 地 说 ， 研 究 发 现 每 对 6 部 不 出 名 的 电影 进行 排序 ， 我 们 就 有 
84% 的 概率 可 以 辨认 出 条 飞 公司 这 个 顾客 的 身份 。 而 如 果 我 们 知道 这 个 
顾客 是 哪 天 进行 了 排序 的 话 ， 那 么 他 被 从 这 个 50 万 人 的 数据 库 中 挑 出 来 
的 概率 就 会 高 达 999%6。 


在 美国 在 线 的 案例 中 ， 我 们 被 我 们 所 搜索 的 内 容 出 卖 了 。 而 茶 飞 公 
司 的 情况 则 是 因为 不 同 来 源 数 据 的 结合 暴露 了 我 们 的 号 份 。 这 两 种 情况 
的 出 现 ， 都 是 因为 公司 没有 意识 到 匿名 化 对 大 数据 的 无 效 性 。 而 出 现 这 
种 无 效 性 则 是 由 两 个 因素 引起 的 ， 一 是 我 们 收集 到 的 数据 越 来 越 多 ， 
二 是 我 们 会 结合 越 来 越 多 不 同 来 源 的 数据 。 


科罗拉多 大 学 的 法 学 教授 保罗 :欧姆 (Paul Ohm) ， 同 时 也 是 研究 
反 匿 名 化 危害 的 专家 ， 认 为 针对 大 数据 的 反 匿 名 化 &， 现 在 还 没有 很 好 
的 办 法 。 毕 竞 ， 只 要 有 足够 的 数据 ， 那 么 无 论 如 何 都 做 不 到 完全 的 匿名 
化 。 更 粮 的 是 ， 最 近 的 研究 表明 ， 不 只 是 传统 数据 容易 受到 反 匿 名 化 的 
影响 ， 人 们 的 社交 关系 图 ， 也 就 是 人 们 的 相互 联系 也 将 同 受 其 害 。 


大 数据 洞察 


在 大 数据 时 代 ， 不 省 是 告知 与 许可 、 模 糊 化 还 是 匿名 化 ， 这 三 大 隐 
私 保护 策略 都 失效 了 。 如 今 很 多 用 户 部 觉得 自己 的 隐私 已 经 受到 了 威 
胁 ， 当 大 数据 变 得 更 为 普遍 的 时 候 ， 情 况 将 更 加 人 不堪 设想 。 


与 25 年 之 前 的 民主 德国 相 比 ， 现 在 我 们 所 受 的 监控 没有 减少 ， 反 而 
变 得 越 来 越 容易 、 严 密 以 及 低 成 本 。 采 集 个 人 数据 的 工具 就 隐藏 在 我 们 
日 第 生活 所 必 备 的 工具 当中 ， 比 如 网 页 和 智能 手机 应 用 程序 。 我 们 知道 
大 多 数 的 汽车 中 都 装 了 一 个 “ 黑 盒 子 ' 一 一 用 来 监测 安全 气 吉 激活 的 情 
况 ， 而 如 今 ， 一 旦 出 现 具有 争议 的 交通 案件 ， 这 个 黑 盒子 所 采 集 的 数据 
就 可 以 在 法 隆 上 充当 证 据 。 当 然 ， 如 果 企业 采集 数据 只 是 来 提高 绩效 ， 
我 们 就 不 用 像 被 Stasi 神 听 那 样 而 感到 那么 害 介 。 毕 葛 企 业 再 强大 ， 也 不 
如 国家 强制 力 。 















































不 过 ， 即 使 它们 不 具备 国家 强制 力 ， 想 到 各 种 各 样 的 公司 在 我 们 不 
知情 的 情况 下 洲 集 丁 我 们 日 向 生活 方方面面 的 数据 ， 并 且 进 行 了 数据 共 
享 以 及 一 些 我 们 未 知 的 运用 ， 这 还 是 很 恐怖 的 。 对 大 数据 大 加 利用 的 不 
只 是 私营 企业 ， 政 府 也 不 甘 落 后 。 


据 《 华 盛 顿 邮 报 》2010 年 的 研究 表明 ， 美 国 国家 安全 局 每 天 拦截 并 
存储 的 电子 邮件 、 电 话 和 其 他 通信 记录 多 达 17 亿 条 。 前 美国 安全 局 官员 
威廉 - 宾 尼 (Wiliam Binney) 估计 政府 采集 的 美国 及 他 国 公民 的 通信 互 
动 记录 有 20 万 亿 次 之 多 ， 其 中 包括 谁 和 谁 通过 话 、 发 过 电子 邮件 、 进 行 
过 电汇 等 信息 。 为 了 弄 明 白 这 所 有 的 数据 ， 美 国 建立 了 庞大 的 数据 中 
心 ， 其 中 美国 国家 安全 局 就 耗资 12 亿 美元 在 犹他 州 的 威廉 姆 斯 堡 建立 了 
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如 今 ， 不 再 只 是 负责 反 芍 的 秘密 机 关 需 要 采集 更 多 的 数据 ， 所 有 的 
政府 部 门 都 需要 ， 上 所以， 数据 采集 扩展 到 了 金融 交易 、 医 疗 记 录 和 
Facebook 状 态 更 新 等 各 个 领域 ， 数 据 量 之 巨 可 想 而 知 。 政 府 其 实处 理 不 
了 这 人 么 多 数据 ， 那 为 什么 要 费力 采集 呢 ? 


这 是 因为 在 大 数据 时 代 ， 监 控 的 方式 已 经 改变 了 。 过 去 ， 调 碍 员 为 
了 尽 可 能 多 地 知道 嫌疑 人 的 信息 ， 需 要 把 鳄鱼 夹 夹 到 电话 线 上 。 当 时 最 
重要 的 是 能 深入 调查 共 个 人 ， 而 现在 情况 不 一 样 了 ， 比 如 谷歌 和 
Facebook 的 理念 则 是 人 融 是 社会 关系 、 网 上 互动 和 内容 搜索 的 加 和 。 所 
4 为 了 全 面 调查 一 个 人 ， 调 得 员 需要 得 到 关于 这 个 人 的 最 广泛 的 信 

， 不 仅 是 他 们 认识 的 人 ， 还 包括 这 些 人 又 认识 哪些 人 等 。 过 去 的 技术 
条 件 没 法 做 到 这 样 的 分 析 ， 但 是 今 非 昔 比 了 。 


不 过 ， 虽 然 企 业 和 政府 拥有 的 这 种 采集 个 人 信息 的 能 力 ， 让 我 们 感 
到 很 困扰 ， 但 也 还 是 没有 大 数据 所 引起 的 另 一 个 新 问题 让 我 们 更 疏 侦 ， 
那 就 是 用 预测 来 判断 我 们 。 


预测 与 惩 神 ， 不 是 因为 “所 做 ”， 而 是 因为 “将 做 ” 


Aji zt (John Anderton) 是 华盛顿 特区 警 局 预防 犯罪 组 的 负 
责 人 。 这 是 特别 的 一 天 ， 早 上 ， 他 冲 进 了 住 在 闻 区 的 霍华德 :马克 斯 
(Howard Marks) 的 家 中 并 逮捕 了 他 ， 后 者 打算 用 剪刀 刺杀 他 的 妻子 ， 
因为 他 发 现 他 妻子 给 他 戴 了 “绿帽子 *”。 安 德 顿 义 防 止 了 一 起 暴力 犯罪 案 
件 的 发 生 。 他 大 声 说 :“ 我 以 哥伦比亚 特区 预防 犯罪 科 的 名 义 建 捕 你 ， 
你 即将 在 今天 谋杀 你 的 妻子 院 拉 :马克 斯 (Sarah Marks) ...... ”其 他 的 警 




















RI ante til ARTE, PEARCE, “我 什么 都 没有 做 啊 ! ” 


这 是 电影 《少数 派 报 告 》 (Minority Report) 开始 时 的 场景 ， 这 部 
电影 描述 的 是 一 个 未 来 可 以 准确 预知 的 世界 ， 而 罪犯 在 实施 犯罪 前 就 已 
受到 了 惩 避 。 人 们 不 是 因为 所 做 而 受到 惩罚 ， 而 是 因为 将 做 ， 即 使 他 
们 事实 上 并 没有 犯罪 。 虽 然 电 影 中 预测 依靠 的 不 是 数据 分 析 ， 而 是 三 个 
超自然 人 的 想象 ， 但 是 《少数 派 报 告 》 所 描述 的 这 个 令 人 不 安 的 社会 正 
是 不 受 限 制 的 大 数据 分 析 可 能 会 导致 的 : 罪 贡 的 判定 是 基于 对 个 人 未 来 
行为 的 预测 。 


我 们 已 经 看 到 了 这 种 社会 模式 的 蝴 芽 。30 多 个 州 的 假释 委员 正 使 用 
数据 分 析 来 决定 是 释放 还 是 继续 监 蔡 某 人 。 越 来 越 多 的 美国 城市 ， 从 洛 
杉 矶 的 部 分 地 区 到 整个 里 士 满 “ 美 国 弗 庆 尼 亚 州 首府 ) ， 都 采用 了 ”“ 预 
WEA” Chae KEE) 来 决定 哪些 街道 、 和 群体 还 是 个 人 需要 更 
严密 的 监控 ， 仪 仅 因为 算法 系统 指出 他 们 更 有 可 能 犯罪 。 


在 和 更 菲 斯 市 ， 一 个 名 为 “ 蓝 色 粉碎 吕 的 项 目 为 警 员 提 供 情 报 ， 关 于 
哪些 地 方 更 容易 发 生 犯 罪 事件 ， 什 么 时 候 更 容易 隶 到 罪犯 。 这 个 系统 帮 
助 执法 部 门 更 好 地 分 配 其 有 限 的 资源 。 这 个 项 目 自 2006 年 局 动 以 来 ， 琴 
菲 斯 的 重大 财产 和 其 力 犯 罪 发 生 率 约 下 降 了 26% (虽然 这 与 这 个 项 目 不 
一 定 有 因果 关系 ) 。 


在 里 士 满 市 的 为 一 个 项 目 中 ， 和 警察 把 犯罪 数据 与 其 他 数据 相关 联 ， 
比方 说 市 里 的 大 公司 何 时 给 员工 发 工资 ， 当 地 举办 音乐 会 或 者 运动 赛事 
的 时 间 。 这 证 实 了 警方 对 犯罪 趋势 的 预测 ， 有 时 也 会 帮助 警方 推算 出 更 
准确 的 犯罪 趋势 。 例 如 ， 里 士 满 市 的 警察 一 直觉 得 在 枪击 事件 之 后 会 出 
现 一 个 犯罪 高 峰 期 ， 大 数据 证 明了 这 种 想法 ， 但 是 也 发 现 了 一 个 漏洞 ， 
即 高 峰 不 是 紧 随 枪击 事件 而 来 的 ， 而 是 两 个 星期 之 后 才 会 出 现 。 


这 些 系统 通过 预测 来 预防 犯罪 ， 最 终 要 精准 到 谁 会 犯罪 这 个 级 别 。 

这 是 大 数据 的 新 用 途 。 众 多 科 约 小 说 的 丰富 演绎 进一步 揭示 了 机 场 日 常 
安检 的 平庸 和 困境 。 美 国 国土 安全 部 正在 研发 一 套 名 为 未 来 行为 检测 科 
f% (Future Attribute Screening Technology， 简 称 FAST) 的 安全 系统 ， 通 
过 监控 个 人 的 生命 体征 、 肢 体 语言 和 其 他 生理 模式 ， 发 现 潜在 的 恐怖 分 
子 。 研 究 者 认为 ， 通 过 监控 人 类 的 行为 可 以 发 现 他 们 的 不 恨 意 图 。 美 国 
国土 安全 部 声称 ， 在 研究 测试 中 ， 系 统 检测 的 准确 度 可 以 达到 709%。 

(测试 方法 并 不 可 知 ， 难 道 是 要 志愿 者 假扮 恐怖 分 子 ， 然 后 看 看 系统 是 
否 能 发 现 他 们 的 不 民意 图 吗 ?)〉 尽管 这 些 研 究 还 处 于 早期 阶段 ， 执 法 者 















































和 监管 部 门 还 是 对 其 给 予 了 高 度 重 视 。 


我 们 可 以 用 大 数据 来 预防 犯罪 ， 听 起 来 真 不 错 。 毕 竟 在 犯罪 发 生 之 
前 及 时 制止 比 事后 再 每 如 要 好 得 多 ， 不 是 吗 ? 因为 我 们 避免 了 犯罪 的 友 
生 ， 也 就 挽救 了 可 能 被 伤害 的 人 ， 同 时 社会 整体 也 受益 了 。 


但 是 这 很 危险 ， 因 为 如 果 我 们 可 以 用 大 数据 来 预防 犯罪 我 们 残 可 
能 会 想 进 一 步 征召 这 个 未 来 的 罪犯 。 这 也 是 符合 逻辑 的 ， 因 为 我 们 会 觉 
得 如 条 只 是 阻止 了 他 的 犯罪 行为 而 不 采取 惩 避 措施 的 话 ， 他 融 可 能 因为 
不 受 损失 而 再 次 犯罪 ， 如 末 我 们 因为 他 未 实施 的 犯 菲 行为 而 惩罚 他 的 
话 ， 可 能 就 会 威慑 到 他 。 


基于 预测 基础 上 的 惩 昼 似乎 也 是 我 们 现在 惯 行 方法 的 一 种 提升 。 现 
代 社 会 是 建立 在 预防 不 健康 、 人 危险 和 非法 行为 基础 上 的 。 我 们 为 了 预防 
肺 况 而 减少 吸烟 紊 、 为 了 避免 在 车 祸 中 死亡 而 系 安全 带 、 为 了 避免 被 动 
机 而 不 允许 带 枪 文登 机 ， 所 有 这 些 预 防 措施 都 限制 了 我 们 的 上 自由， 但 是 
我 们 愿意 为 了 防止 更 大 的 灾难 而 做 出 适当 的 牺牲 。 


大 多 数 情 况 下 ， 我 们 已 经 在 以 预测 之 名 采用 大 数据 分 析 。 它 把 我 们 
放 在 一 个 特定 的 人 群 之 中 来 对 我 们 进行 界定 。 保 险 精算 表 上 指出 ， 超 过 
50 岁 的 男性 更 容易 患 前 列 腺 况 ， 所 以 你 如 果 不 幸 正好 处 于 这 个 年 龄 段 ， 
就 需要 支付 更 多 的 保险 费用 ， 即 使 你 根本 就 没 得 过 这 个 病 。 没 有 高 中 文 
凭 的 人 更 容易 偿还 不 起 债务 ， 所 以 如 果 你 没有 高 中 文公， 就 可 能 贫 不 到 
区 或 者 必须 文 付 更 高 的 保险 费 。 有 的 人 在 过 安检 的 时 候 ， 可 能 会 需要 进 
行 额外 的 检查 ， 仅 仅 是 因为 他 带 有 茶 种 特定 的 特征 。 


这 都 是 如 今 的 小 数据 时 代 所 采用 的 “画像 ?背后 的 指导 思想 。 在 一 个 
数据 库 中 找到 普 裔 联系， 然后 对 适用 于 这 种 普 裔 联系 的 个 人 深入 勘察 。 
这 适用 于 团体 内 的 每 个 人 ， 征 一 条 普 遇 规则 。 当 然 , MRENE, 
不 只 意味 着 对 一 个 特定 群体 的 区 分 ， 而 且 指 “ 军 连 犯罪 ， 不 过 这 是 一 种 
滥用 ， 所 以 “画像 有 严重 的 缺陷 。 


大 数据 洞察 


大 数据 蔡 我 们 规避 了 "画像 ”的 缺陷 ， 因 为 大 数据 区 分 的 是 个 人 而 不 
是 群体 ， 所 以 我 们 不 会 再 通过 “ 罕 连 犯罪 ”给 群体 中 的 每 个 人 都 定罪 。 如 
今 ， 一 个 用 现金 购买 尖 等 舱 单 程 桶 的 阿拉 伯 人 不 会 再 被 认为 是 恐怖 分 子 
而 接受 额外 的 检查 ， 只 要 他 号 上 的 其 他 数据 表明 他 基本 没有 仆 怖 主义 倾 
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们 规避 了 “画像 * 的 缺陷 一 一 直接 将 群体 特征 强加 于 个 人 。 


其 实 ， 我 们 一 直 在 用 “画像 ”来 帮助 我 们 确定 个 人 的 罪责 ， 大 数据 所 
做 的 并 没有 本 质 的 差别 ， 只 是 让 这 种 方法 更 完善 、 更 精准 、 更 具体 和 更 
个 性 化 。 因 此 ， 如 有 果 大 数据 预测 只 是 帮助 我 们 预防 不 展 行为 ， 我 们 似乎 
是 可 以 接受 的 。 但 是 ， 僧 名 我 们 使 用 大 数据 预测 来 判定 某 人 有 罪 并 对 其 
尚未 实施 的 行为 进行 惩罚 ， 残 可 能 让 我 们 陷入 一 个 危险 的 境地 。 


基于 未 来 可 能 行为 之 上 的 惩罚 是 对 公平 正义 的 于 渎 ， 因 为 公平 正义 
的 基础 证 人 只 有 做 了 茶 事 才 需 要 对 它 负 责 。 毕 竞 ， 想 做 而 未 做 不 是 犯 
徘 。 社 会 关于 个 人 贡 任 的 基本 信条 是 ， 人 为 其 选择 的 行为 承担 贡 任 。 如 
朵 有 人 在 锐 别 人 用 枪 威胁 的 情况 下 打开 了 公司 的 保险 柜 ， 他 并 不 需要 承 
担 贡 任 ， 因 为 他 别 无 选择 。 


如 果 大 数据 分 析 完 全 准确 ， 那 么 我 们 的 未 来 会 被 精准 地 预测 ， 因 此 
在 未 来 ， 我 们 不 仅 会 失去 选择 的 权利 ， 而 且 会 按照 预测 去 行动 。 如 采 精 
准 的 预测 成 为 现实 的 话 ， 我 们 也 束 失 去 了 自由 意志 ， 失 去 了 自由 选择 生 
seer tere yee agp ne 
很 岗 刺 吗 ? 


当然 ， 精 准 的 预测 是 不 现实 的 。 大 数据 分 析 只 能 预测 一 个 人 未 来 很 
有 可 能 进行 的 行为 。 


比方 说 ， 宾 夕 法 尼 亚 大 学 教授 理 查 德 : 伯 克 (Richard Berk) 建立 了 
一 个 大 数据 模型 ， 他 声称 这 个 模型 可 以 预测 一 个 判 缓刑 或 者 假释 的 人 一 
旦 提前 释放 会 不 会 再 次 杀人 。 他 输入 了 海量 的 特定 案件 变量 ， 包 括 监 禁 
的 原因 、 首 次 犯罪 的 时 间 、 年 龄 、 性 别 等 个 人 数据 。 伯 克 说 他 的 模型 对 
未 来 行为 预测 的 准确 率 可 以 达到 75%。 这 听 起 来 似乎 还 不 错 。 但 是 ， 这 

意味 着 如 果 假 释 委 员 会 依靠 他 的 分 析 ， 就 会 在 每 4 个 人 中 出 现 一 次 失 


‘YO 
IR o 






























































但 是 ， 主 要 的 问题 并 不 是 出 在 社会 需要 面 对 更 多 威胁 上 ， 而 是 我 们 
在 人 们 真正 犯 徘 之 前 对 他 进行 生 避 人 否定 了 人 的 目 由 权利 。 我 们 永远 不 会 
知道 这 个 受 惩 因 的 人 是 否 会 真正 犯 菲 ， 因 为 我 们 已 经 通过 了 预 训 预先 制止 
了 这 种 行为 ， 如 此 一 来 ， 我 们 就 没有 让 他 按照 他 的 意愿 去 做 ， 但 是 我 们 
却 依然 坚持 他 应 该 为 目 己 尚 未 实施 的 未 来 行为 付出 代价 ， 而 我 们 的 预测 
也 永远 无 法 得 到 证 实 。 
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则 。 因 为 我 们 被 奶 究 贡 任 ， 居 然 是 为 了 我 们 可 能 永远 都 不 会 实施 的 行 
为 。 对 预测 到 的 未 来 行为 判 罪 也 否认 了 我 们 进行 道德 选择 的 能 


大 数据 预测 给 我 们 带 来 的 威胁 ， 不 仅仅 局 限于 司法 公正 上 ， 它 还 会 
威胁 到 任何 运用 大 数据 预测 对 我 们 的 未 来 行为 进行 罪 贡 判 定 的 领域 ， 比 
如 民事 法 姓 案 件 中 判定 过 失 以 及 公司 解雇 员工 的 决策 。 


大 数据 洞察 


也 许 ， 大 数据 预测 可 以 为 我 们 打造 一 个 更 安全 、 更 高 效 的 社会 ， 但 
是 却 否 定 了 我 们 之 所 以 为 人 的 重要 组 成 部 分 一 一 自由 选择 的 能 力 和 行为 
责任 自负 。 大 数据 成 为 了 集体 选择 的 工具 ， 但 也 放 莽 了 我 们 的 自由 意 
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大 数据 的 不 利 影响 并 不 是 大 数据 本 里 的 缺陷 ， 而 是 我 们 滥用 大 数据 
预测 所 导致 的 结果 。 大 数据 预测 是 建立 在 相关 性 基础 上 的 。 让 人 们 为 还 
未 实施 的 未 来 行为 买单 是 带 来 不 利 影响 的 主要 原因 ， 因 为 我 们 把 个 人 罪 
责 判 定 建立 在 大 数据 预测 的 基础 上 是 不 合理 的 。 


大 数据 有 利于 我 们 理解 现在 和 预见 未 来 的 风险 ， 如 此 一 来 ， 我 们 残 
可 以 相对 应 地 采取 应 对 措施 。 大 数据 预测 可 以 帮助 患者 、 保 险 公司 、 银 
行 和 顾客 ， 但 是 大 数据 不 能 告诉 我 们 因果 关系 。 相 对 地 ， 进 行 个 人 罪 贡 
推定 需要 行为 人 选择 茶 种 特定 的 行为 ， 他 的 选择 是 造成 这 个 行为 的 原 
因 。 但 大 数据 并 不 是 建立 在 因果 关系 基础 上 的 ， 所 以 它 完 全 不 应 该 用 来 
帮助 我 们 进行 个 人 徘 责 推定 。 


膝 烦 的 是 ， 人 们 习惯 性 地 从 因果 关系 的 视角 来 理解 世界 。 因 此 ， 大 
数据 总 是 被 滥用 于 因果 分 析 ， 而 且 我 们 往往 非常 乐观 地 认为 ， 只 要 有 了 
大 数据 预测 的 帮助 ， 我 们 进行 个 人 徘 责 判定 就 会 更 高 效 。 

这 是 一 个 典型 的 渭 坡 ， 可 能 直接 导致 《 少 数 派 报告 》 中 的 情况 成 为 
现实 一 一 我 们 将 生活 在 一 个 没有 独立 选择 和 自由 意志 的 社会 ， 在 这 里 我 
们 的 道德 指标 将 被 预测 系统 所 取代 ， 个 人 一 下 受到 集体 意志 的 冲击 。 简 
单 地 说 ， 如 果 一 切 都 成 为 现实 ， 大 数据 就 会 把 我 们 蔡 铀 在 可 能 性 之 中 。 
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威胁 。 但 是 与 此 同时 ， 它 也 加 剧 了 一 个 旧 威 胁 : 过 于 依赖 数据 ， 而 数据 
远 远 没 有 我 们 所 想 的 那么 可 靠 。 要 揭示 大 数据 分 析 的 不 可 靠 性 ， 恐 人 没 
有 比 罗 伯 特 .麦克 纳 马 拉 (Robert McNamara) 的 例子 更 贴切 的 了 。 


支 死 纳 马 拉 是 一 个 执 迷 于 数据 的 人 。20 世 纪 60 年 代 早期 ， 在 越南 局 
势 变 得 紧张 的 时 候 ， 他 被 任命 为 美国 国防 部 长 。 任 何事 情 ， 只 要 可 以 ， 
他 都 会 执意 得 到 数据 。 他 认为 ， 只 有 运用 严谨 的 统计 数据 ， 决 全 者 才能 
真正 理解 复杂 的 事态 并 做 出 正确 的 决定 。 他 眼中 的 世界 就 是 一 堆 集 芍 不 
驯 的 信息 的 总 和 ， 一 旦 划 定 、 命 名 、 区 分 和 量化 之 后 ， 就 能 被 人 类 驯服 
并 加 以 利用 。 麦 克 纳 马 拉 追 求 真 理 ， 而 数据 恰好 能 揭示 真理 。 他 所 掌握 
的 数据 中 有 一 份 就 是 “死亡 名 单 ”。 


支 克 纳 马 拉 对 数字 的 执 迷 从 年 轻 的 时 候 就 开始 了 ， 当 时 他 还 是 哈佛 
商学 院 的 学 生 ， 后 来 ， 他 以 24 岁 的 年 纪 成 为 了 最 年 轻 的 副教授 。 第 二 次 
世界 大 战 期 间 ， 他 把 这 种 严密 的 数字 意识 运用 到 了 工作 之 中 ， 当 时 他 是 
五 角 大 楼 里 被 称 为 “统计 控制 队 ” 中 的 一 名 精英 ， 这 个 队伍 让 世界 权 为 的 
中 心 人 物 都 开始 依靠 数据 进行 决策 。 在 这 之 前 ， 部 队 一 直 很 盲目 。 比 方 
说 ， 它 们 不 知道 飞机 备用 零件 的 种 类 、 数 量 和 放置 位 置 。1943 年 制作 的 
综合 清单 为 部 队 贡 省 了 36 亿 美元 。 现 代 战 争 需要 资源 的 合理 分 配 ， 他 们 
所 做 的 非常 了 不 起 。 


战争 结束 的 时 候 ， 他 们 决定 通力 合作 拯救 濒临 倒闭 的 福特 汽车 公 
司 。 福 特 二 世 (Henry Ford Il) 绝望 地 交 出 了 自己 的 控制 权 。 就 像 他 们 
投入 战争 的 时 候 完 全 不 懂 盏 事 一 样 ， 这 一 次 ， 他 们 也 不 关心 如 何 制 作 汽 
车 。 但 是 奇妙 的 是 ， 这 群 精 明 小 子 居然 救 活 了 福特 公司 。 


支 克 纳 马 拉 对 数据 的 执 迷 迅 速 升温 ， 开 始 凡事 都 考虑 数据 集 。 工 三 
经 理 迅 速 地 生成 老 殉 纳 马 拉 所 要 求 的 数字 ， 不 管 对 错 。 他 规定 只 有 在 旧 
车 型 的 所 有 零件 的 存货 用 完 之 后 才能 生产 新 车 型 ， 惯 您 的 生产 线 经 理 们 
一 股 脑 将 剩余 的 零件 全 部 倒 进 了 附近 的 河 里 。 当 前 线 员工 把 数据 返回 的 
时 候 ， 总 部 的 高 管 们 都 满意 地 点 了 点 头 ， 因 为 规定 执行 得 很 到 位 。 但 是 
工厂 里 盛行 一 个 笑话 ， 是 说 河面 上 可 以 走 人 了 ， 因 为 河 里 有 很 多 1950 年 
或 者 1951 年 生产 的 车 型 的 零件 ， 在 河面 上 走 就 是 在 生 锈 的 零件 上 走 。 


支 克 纳 马 拉 是 典型 的 20 世 纪 经 理 人 一 一 完全 依赖 数字 而 非 感情 的 理 
智 型 高 管 ， 他 可 以 把 他 的 数控 理论 运用 到 任何 领域 。1960 年 ， 他 被 任命 
为 福特 汽车 公司 的 总 裁 ， 在 位 只 有 几 周 ， 他 就 被 肯尼迪 总 统 任命 为 美国 



































国防 部 部 长 。 


随 着 越南 战争 升级 和 美 车 加 派 部 队 ， 这 变 成 了 一 场 意志 之 战 而 非 领 
土 之 争 。 美 军 的 策略 是 逼迫 越 共 走 上 谈判 桌 。 于 是 ， 评 判 战争 进度 的 方 
法 就 是 看 对 方 的 死亡 人 数 。 每 天 报纸 都 会 公布 死亡 人 数 。 文 持 战 争 的 人 
把 这 作为 战争 胜利 的 标志 ， 皮 战 的 人 把 它 作 为 道德 沦丧 的 证 据 。 死 亡 人 
数 是 代表 了 一 个 时 代 的 数据 集 。 


1977 年 ， 一 架 直升机 从 西贡 的 美国 大 使 馆 屋 项 上 撤离 了 最 后 一 批 美 
国 公 民 。 两 年 之 后 ， 一 位 退休 的 将 军 道格拉斯 . 金 纳 德 (Douglas 
Kinard) 发 表 了 《战争 管理 者 》 (The War Managers) 。 这 是 一 个 关于 
将 军 们 对 越战 看 法 的 里 程 碑 式 的 调查 。 它 揭露 了 量化 的 困境 。 仅 仅 只 有 
2% 的 美国 将 军 们 认为 用 死亡 人 数 衡 量 战 争 成 果 是 有 意义 的 ， 而 三 分 之 
二 的 人 认为 大 部 分 情况 下 数据 都 被 夸大 了 。 一 个 将 盏 评论 称 ,“ 那 都 是 
假 的 ， 完 全 没有 意义 ”;， 另 一 个 说 道 , “ASH” 还 有 一 个 将 军 则 认 
为 是 像 麦 元 纳 马 拉 这 样 的 人 表现 出 了 对 数据 的 极 大 热忱 ， 导 致 很 多 部 门 
一 层 一 层 地 将 数字 扩大 化 了 。 


就 像 福特 的 员工 将 零件 投入 河中 一 样 ， 下 级 军官 为 了 达成 命令 或 者 
升官 ， 会 汇报 可 观 的 数字 给 他 们 的 上 级 ， 只 要 那 是 他 们 的 上 级 布 望 听 到 
的 数字 。8 万 克 纳 马 拉 和 他 身边 的 人 都 依赖 并 且 执 迷 于 数据 ， 他 认为 只 
有 通过 电子 表格 上 有 序 的 行 、 列 、 计 算 和 图 表 才 能 真正 了 解 战场 上 发 生 
了 什么 。 他 认为 擎 握 了 数据 ， 也 就 进一步 接近 了 真理 〈 上 和 帝 ) 。 


大 数据 洞察 


美国 军 方 在 越战 时 对 数据 的 使 用 、 波 用 和 误 用 给 我 们 提 了 一 个 醒 ， 
在 由 “小 数据 ?时 代 回 大 数据 时 代 转 变 的 过 程 中 ， 我 们 对 信息 的 一 些 局 限 
性 必须 给 予 高 有 度 的 重视 。 数 据 的 质量 可 能 会 很 差 ， 可 能 是 不 客观 的 ;可 
能 存在 分 析 错 误 或 者 具有 误导 性 ， 更 糟糕 的 是 ， 数 据 可 能 根本 达 不 到 量 
化 它 的 目的 。 

我 们 比 想 象 中 更 容易 受到 数据 的 统治 一 一 让 数据 以 民 邯 参半 的 方式 
统治 我 们 。 其 威胁 就 是 ， 我 们 可 能 会 完全 受 限 于 我 们 的 分 析 结 果 ， 即 使 
这 个 结果 理应 受到 质疑 。 或 者 说 ， 我 们 会 形成 一 种 对 数据 的 执 迷 ， 因 而 
仅仅 为 了 收集 数据 而 收集 数据 ， 或 者 赋予 数据 根本 无 权 得 到 的 信任 。 


随 看 越 来 越 多 的 事物 被 数 据 化 ， 决 策 者 和 商人 所 做 的 第 一 件 事 就 古 












































PIES NBG. “BAT Ere, Bee bie, Settee tal A A H Be 
据说 话 。” 这 是 现代 经 理 人 的 信仰 ， 也 回 啊 在 硅谷 的 办 公 室 、 工 三 和 市 
政 厅 的 门廊 里 。 善 加 利用 ， 这 是 极 好 的 事情 ， 但 是 一 旦 出 现 不 合理 利 
用 ， 后 果 将 不 堪 设 想 。 


教育 似乎 在 走 下 坡 路 ?用 标准 化 测试 来 检验 学 生 的 表现 和 评定 对 老 
师 或 学 校 的 奖惩 是 不 合理 的 。 考 试 是 否 能 全 面 展示 一 个 学 生 的 能 力 ? 是 
个 能 有 效 检测 教学 质量 ? 是 售 能 反映 出 一 个 有 创造 力 、 适 应 能 力 强 的 现 
代 师 资 队伍 所 希 要 的 品质 ? 这 些 都 饱 受 和 争议， 但 是 ， 数 据 不 会 承认 这 些 
问题 的 存在 。 


如 何 防止 恐怖 主义 ? 创造 一 层 层 的 禁 飞 名 单 、 阻 止 任何 与 灵 怖 主义 
有 关 的 个 人 搭乘 飞机 ， 这 真 的 有 用 吗 ? 回答 是 : 值得 怀疑 。 想 想 那 件 非 
和 出 名 的 事情 ， 马 了 萨 诸 塞 州 参议 员 特 德 .肯尼迪 (Ted Kennedy) 不 就 因 
为 仅仅 与 该 数据 库 中 的 一 个 人 名 字 相 同 而 被 诱捕 、 拘 留 并 且 调 查 了 吗 ? 


与 数据 为 伴 的 人 可 以 用 一 句 话 来 概括 这 些 问题 , “错误 的 前 提 导 致 
错误 的 结论 。” 有 时 候 ， 是 因为 用 来 分 析 的 数据 质量 不 佳 ， 但 在 大 部 分 
情况 下 ， 是 因为 我 们 误 用 了 数据 分 析 结 果 。 大 数据 要 么 会 让 这 些 问题 局 
频 出 现 ， 要 么 会 加 剧 这 些 问题 导致 的 不 展 后 果 。 


我 们 在 书 中 举 过 无 数 谷 歌 的 例子 ， 我 们 明白 它 的 一 切 运作 都 是 基于 
数据 基础 之 上 的 。 很 明显 ， 它 大 部 分 的 成 功 都 是 数据 造就 的 ， 但 是 偶尔 
谷歌 也 会 因为 数据 栽 跟头 。 


谷歌 公司 的 创始 人 拉 里 . 假 奇 和 谢 尔 再 : 布 林 一 直 强 调 要 得 到 每 个 应 
聘 者 申请 大 学 时 的 SAT 成 绩 以 及 大 学 毕业 时 的 平均 顷 点 。 他 们 认为 ， 前 
者 能 彰显 淤 能， 后 者 则 展现 成 束 。 因 此 ， 当 40 多 岁 、 成 绩 裴 然 的 经 理 人 
在 应 聘 时 被 问 到 大 学 成 绩 的 时 候 ， 就 完全 无 法 理解 这 种 和 要求。 尽管 公司 
a 0 


谷歌 本 应 该 懂得 抵制 数据 的 独裁 。 考 试 结果 可 能 一 生 都 不 会 改变 ， 
但 是 它 并 不 能 测试 出 一 个 人 的 知识 深度 ， 也 展示 不 出 一 个 人 的 人 文系 
养 ， 学 习 技能 之 外 ， 科 学 和 工程 知识 才 是 更 适合 考量 的 。 谷 歌 在 招聘 人 
才 方 面 如 此 依赖 数据 让 人 很 是 费解 ， 要 知道 ， 它 的 创始 人 可 是 接受 过 注 
重 学 习 而 非 分 数 的 蒙 台 梭 利 教育 。 谷 歌 就 是 在 重 蹈 前 人 和 窗 略 ， 过 去 美国 
的 科技 巨头 们 也 把 个 人 简历 看 得 比 个 人 能 力 重 要 。 如 果 按 谷歌 的 做 法 ， 









































其 创始 人 都 没有 资格 成 为 传奇 性 的 贝尔 实验 室 的 经 理 ， 因 为 他 们 都 在 博 
EMT BRS Ss 比尔 :再 次 和 马 殉 ' 扎 死人 格 也 都 会 被 淘汰 ， 因 为 他 们 都 
没有 大 学 文凭 。 


谷歌 对 数据 的 依赖 有 时 太 和 夸张 了 。 玛 丽水 : 迈 尔 (Marissa Mayer) 
曾 任 谷歌 高 管 职 位 ， 居 然 要 求 员 工 测试 41 种 蓝 色 的 阴影 效果 中 ， 哪 种 被 
人 们 使 用 最 频繁 ， 从 而 决定 网 页 工具 栏 的 颜色 。 谷 歌 的 数据 独 硝 就 是 这 
样 达到 了 顶峰 ， 同 时 也 激 起 了 反抗 。 


2009 年 ， 谷 歌 首 席 设 计 师 道 格 - 鲍 曼 (Doug Bowman) 因为 受 不 了 
随时 随地 的 量化 ， 人 愤然 离职 。“ 最 近 ， 我 们 竟然 争辩 边框 是 用 3、4 还 是 5 
倍 像素 ， 我 居然 被 要 求证 明 我 的 选择 的 正确 性 。 天 呐 ! 我 没 办 法 在 这 样 
的 环境 中 工作 ，? 她 离职 后 在 博客 上 面 大 发 牢骚 , “谷歌 完全 是 工程 师 的 
天 下 ， 所 以 只 会 用 工程 师 的 观点 解决 问题 一 一 把 所 有 决策 简化 成 一 个 逻 
辑 问 题 。 数 据 成 为 了 一 切 决 集 的 主宰， 束缚 住 了 整个 公司 。” 


其 实 ， 曲 越 的 才华 并 不 依赖 于 数据 。 史 带 夫 :乔布斯 多 年 来 持续 不 
断 地 改善 Mac 笔 记 本 ， 依 赖 的 可 能 是 行业 分 析 ， 但 是 他 发 行 的 Pod、 
iPhone 和 iPad 徘 的 束 不 是 数据 ， 而 是 直觉 一 一 他 依赖 于 他 的 第 六 感 。 当 
记者 问 及 弄 布 斯 伴 果 推出 iPad 之 前 做 了 多 少 市 场 调研 时 ， 他 那个 著名 的 
回答 是 这 样 的 :“ 没 做 ! 消费 者 没 义务 去 了 解 目 己 想 要 什么 。” 


詹姆斯 :斯 科 特 (James Scott) 教授 是 耶鲁 大 学 政治 学 和 人 类 学 教 
授 ， 他 在 《国家 的 视角 》 (Seeing Like a State) 一 书 中 记录 了 政府 如 何 
因为 它们 对 量化 和 数据 的 盲目 崇尚 而 陷 人 民 的 生活 于 水 深 火 热 之 中 。 


它们 使 用 地 图 来 确定 社区 重建 ， 却 完全 不 知道 其 中 民众 的 生活 状 
态 。 它 们 使 用 大 量 的 农 收 数据 来 决定 采取 集体 农庄 的 方式 ， 但 是 它们 完 
全 不 懂 农 业 。 它 们 把 所 有 人 们 一 直 以 来 用 之 交流 的 不 健全 和 系统 的 方式 
按照 目 己 的 需求 进行 改造 ， 只 是 为 了 满足 可 量化 规则 的 需要 。 在 斯 科 特 
看 来 ， 大 数据 使 用 成 了 权力 的 武器 。 


这 是 数据 独裁 放大 了 的 写照 。 同 样 ， 也 十 这 种 自 大 导致 美国 基于 死 
亡 人 数 而 不 是 更 理智 的 衡量 标准 来 扩大 越南 战争 的 规模 。1976 年 ， 在 与 
日 俱 增 的 国内 压力 下 ， 妥 克 纳 马 拉 在 一 次 演讲 中 说 道 ，“ 事 实 上 ， 真 的 
不 是 每 一 个 复杂 的 人 类 情况 都 能 简化 为 曲线 图 上 的 线条 、 图 表 上 的 百 分 
点 或 者 资产 负债 表 上 的 数字 。 但 是 如 果 不 对 可 量化 的 事物 进行 量化 ， 我 
们 就 会 失去 全 面 了 解 该 事物 的 机 会 。” 只 要 得 到 了 合理 的 利用 ， 而 不 单 









































纯 只 是 为 了 “数据 ?而 “数据 ?， 大 数据 就 会 变 成 强大 的 武器 。 


20 世 纪 70 年 代 ， 罗 伯 特 :麦克 纳 马 拉 一 直 担任 世界 银行 行 长 。20 世 
纪 80 年 代 ， 他 癸 然 变 成 了 和 平 的 象征 。 他 为 反 核 武器 和 环境 保护 摇 旗 呐 
喊 。 然 后 ， 他 经 历 了 一 次 思想 的 转变 并 且 出 版 了 一 本 回忆 录 《 回 顾 : 越 
战 的 悲剧 与 教训 》 (In Retrospect: The Tragedy and Lessons of 
Vietnam) ， 书 中 批判 了 战争 的 错误 指导 思想 并 承认 了 他 当年 的 行为 “ 非 
mite”, WHI, RET, KERE! ”但 书 中 还 是 只 承认 了 战争 
的 整体 策略 的 错误 ， 并 未 具体 流露 出 对 数据 和 “死亡 人 数 ” 饱 合 感 情 的 性 
悔 。 他 承认 统计 数据 具有 “误导 或 者 迷惑 性 ”，“ 但 是 对 于 你 能 计算 的 事 
情 ， 你 应 该 计算 ;死亡 数 就 属于 应 该 计算 的 .…… ”2009 年 ， 享 年 93 岁 的 
麦克 纳 马 拉 去 世 ， 他 被 认为 是 一 个 聪明 却 并 不 塞 智 的 人 。 


大 数据 诱 使 我 们 犯 下 罗伯特 * 交 克 纳 瑟 拉 所 犯 的 罪行 ， 也 让 我 们 读 
目 信 任 数 据 的 力量 和 潜能 而 忽略 了 它 的 局 限 性 。 把 大 数据 等 同 于 死亡 
人 数 ， 我 们 只 需要 想 想 上 文 提 到 的 谷歌 流感 趋势 。 设 想 一 下 致命 的 流感 
下 肆虐 全 国 ， 而 这 并 不 是 完全 不 可 能 出 现 的 ， 医 学 专家 们 会 非常 感激 通 
过 检索 词 条 ， 我 们 能 够 实时 预测 流感 重 灾 地 ， 他 们 也 就 能 及 时 去 到 最 需 
要 他 们 的 地 方 。 


但 是 在 危 意 时 刻 ， 政 府 领 导 可 能 会 认为 只 知道 哪里 流感 疫情 最 严重 
还 远 远 不 够 。 如 果 试 图 抑制 流感 的 传播 ， 就 需要 更 多 的 数据 。 所 以 他 们 
呼吁 大 规模 的 隔离 ， 当 然 不 是 说 隔离 这 个 地 区 的 所 有 人 ， 这 样 既 无 必要 
也 大 费事 。 大 数据 能 给 我 们 更 精确 的 信息 ， 所 以 我 们 只 需 隅 离 搜索 了 和 
流感 有 最 直接 关系 的 人 。 如 此 ， 我 们 有 了 需要 隅 离 的 人 的 数据 ， 联 邦 特 
工具 需 通 过 IP 地 址 和 移动 GPS 提供 的 数据 ， 找 出 该 用 户 并 送 入 隅 离 中 
心 。 











我 们 可 能 党 得 ， 这 种 做 法 很 合理 ， 但 是 事实 上 ， 这 是 完全 错误 的 。 
相关 性 并 不 意味 着 有 因果 关系 。 通 过 这 种 方式 找 出 的 人 ， 可 能 根本 就 没 
有 感染 流感 。 他 们 只 是 被 预测 所 害 ， 更 重要 的 是 ， 他 们 成 了 夸大 数据 作 
用 同时 又 疫 有 领会 数据 真 请 的 人 的 人 痊 徘 卑 。 谷 歌 流 感 趋势 的 核心 思想 是 
这 些 检索 词 条 和 流感 爆 及 相关 ， 但 是 这 也 可 能 只 是 医疗 护 工 在 办 公 室 听 
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大 数据 为 监测 我 们 的 生活 提供 了 便利 ， 同 时 也 让 保护 隐私 的 法 律 手 
段 失 去 了 应 有 的 效力 。 面 对 大 数据 ， 保 护 隐私 的 核心 技术 不 再 适用 了 。 
同样 ， 通 过 大 数据 了 预 训 ， 对 我 们 的 未 来 想法 而 非 实 际 行为 采取 惩 避 措 
施 ， 也 让 我 们 慢 榴 不 安 ， 因 为 这 否认 了 自由 意志 并 伤害 了 人 类 总 严 。 


同时 ， 那 些 答 到 大 数据 益处 的 人 ， 可 能 会 把 大 数据 运用 到 它 不 适用 
的 领域 ， 而 且 可 能 会 过 分 脱 胀 对 大 数据 分 析 结 果 的 信赖 。 随 厦大 数据 预 
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[1] 这 是 一 种 植物 补 光 灯 ， 也 是 植物 生长 灯 的 一 种 ， 依 照 植物 生长 
需要 太阳 光 的 规律 ， 代 蔡 太 阳光 给 植物 提供 更 好 的 生长 发 育 环 境 。 一 一 
编者 注 

[2] 是 指 通过 技术 手段 从 匿名 化 数据 中 挖 出 用 户 的 真实 身份 。 一 一 
译 者 注 





[3] Blue CRUSH, > HCrime Reduction Utilizing Statistical History 的 
缩写 ， 意 为 利用 统计 历史 减少 犯罪 。 作者 注 


[4] 更 典型 而 恶 痛 的 例子 是 “大 跃进 ”时 期 各 地 疡 狂 虚报 粮食 产量 ， 
以 至 于 中 央 完 全 没有 意识 到 20 世 纪 60 年 代 初 可 怕 的 饥 亮 ,还 在 大 量 出 口 
粮食 以 换取 其 他 战略 物资 。 一 一 译 者 注 


[5] 和 希腊 神话 人 物 ， 是 和 希腊 神话 中 代 达 罗斯 的 儿子 。 与 代 达 罗斯 使 
用 蜡 和 羽毛 造 的 双 加 逃离 殉 里 特 岛 时 ， 因 过 于 自信 ， 飞 得 太 启 ， 双 加 上 
的 蜡 遭 太阳 和 炙 烤 融化 而 跌落 水 中 丧生 ， 被 埋 匡 在 一 个 海 号 上 。 为 了 纪念 
伊 卡 洛斯 ， 埋 匡 伊 卡 洛斯 的 海 名 被 命名 为 伊 卡 利 亚 。 一 一 编者 注 











08 掌控 : 黄 任 与 目 由 并 举 的 信息 管理 


当世 界 开 始 迈 回 大 数据 时 代 时 ， 社 会 也 将 经 历 类 似 的 地 这 运动 。 在 
改变 人 类 基本 的 生活 与 思考 方式 的 同时 ， 大 数据 早已 在 推动 人 类 信息 管 
时 准则 的 重新 定位 。 然 而 ， 不 同 于 印刷 章 命 ， 我 们 没有 几 个 世纪 的 时 间 
AEM, BATA RA LER TA 


一 场 管理 规范 的 变 音 


我 们 在 生产 和 信息 交流 方式 上 的 变革 必然 会 引发 自我 管理 所 用 规范 
的 变革 。 同 时 ， 这 些 变革 也 会 带动 性 会 需要 维护 的 核心 价值 观 的 转变 。 
我 们 以 印刷 机 的 发 明 导 致 的 信息 洪流 为 例 。 


1450 年 前 后 ， 古 登 煲 发 明了 活字 印刷 机 ， 在 这 之 前 ， 思 想 的 传播 受 
到 了 极 大 的 限制 。 一 方面 ， 书 籍 大 多 被 封禁 在 修道 院 的 图 书馆 里 ， 依 照 
天 主教 精心 制定 的 规定 ， 被 僧侣 严格 看 守 着 ， 为 的 是 确保 并 维护 其 统治 
地 位 。 在 教堂 之 外 ， 少 数 几 所 大 学 也 收藏 了 一 些 书籍 ， 大 概 几 百 本 的 样 
子 ; 15 世 纪 初 ， 剑 桥 大 学 图 书馆 大 概 有 122 本 大 部 头 。 另 一 方面 ， 读 写 
水 平 的 欠缺 也 是 当时 信息 传播 受 限 的 一 个 重要 因素 。 


古 登 堡 的 印刷 机 让 书籍 和 手册 的 大 量 刊印 成 为 可 能 。 马 本 :路 德 
(Martin Luther〉 把 拉丁 语 版 本 的 《对 经》 翻译 成 日 pes 让 
越 来 越 多 的 人 可 以 不 通过 牧师 而 直接 聆听 上 希 的 声音 ， 德 语 版 的 《 双 
经 》 是 当时 卖 得 最 好 的 书 ， a ae ae 分 发 给 
成 干 上 万 的 人 。 就 这 样 ， 信 息 传播 越 来 越 广泛 。 


这 种 巨变 也 使 得 创立 新 规范 来 管理 活字 印刷 术 所 引发 的 信息 爆炸 的 
条 件 变 得 成 熟 。 审 查 和 许可 条 例 被 创立 ， 用 来 规范 和 管理 出 版 物 。 著 作 
权 法 的 制定 为 创作 者 带 来 了 进行 创作 的 法 律 和 经 济 动力 。 随 后 ， 保 护 公 
民 言 论 自由 被 写 入 了 宪法 。 一 如 既往 ， 权 利 伴随 着 责任 产生 了 。 当 低俗 
的 报纸 践踏 人 们 隐私 权 或 诽谤 其 名 誉 时 ， 法 律 规范 就 会 出 现 以 保护 人 们 
的 隐私 权 并 人 允许 他 们 对 文字 诽谤 提出 上 诉 。 


可 是 ， 变 音 并 不 止 于 规范 。 这 种 管理 规范 上 的 改变 也 体现 了 当时 更 
深层 次 的 价值 观 苞 变 。 在 豆 登 贷 时 期 ， 人 大 第 一 次 巧 识 到 了 文字 的 力 
量 ;最 终 ， 也 意识 到 了 信息 广泛 传播 的 重要 性 。 e 
选择 获取 更 多 的 信息 而 非 更 少 ， 并 且 借 助 限制 信息 滥用 的 规范 而 不 是 
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改变 我 们 许多 基本 的 生活 和 思考 方式 的 同时 ， 大 数据 早已 在 推动 我 们 去 
重新 考虑 最 基本 的 准则 ， 包 括 怎样 玛 励 其 增长 以 及 怎样 和 遏制 其 潜在 威 
胁 。 然 而 ， 不 同 于 印刷 革命 ， 我 们 没有 几 个 世纪 的 时 间 去 慢 慢 适应 ， 我 
们 也 许 只 有 几 年 时 间 。 


大 数据 时 代 ， 对 原 有 规范 的 修 修 补 补 已 经 满足 不 了 需要 ， 也 不 足以 
抑制 大 数据 带 来 的 风险 一 一 我 们 需要 全 新 的 制度 规范 ， 而 不 是 修改 原 有 
规范 的 适用 范围 。 想 要 保护 个 人 隐私 束 需 要 个 人 数据 处 理 器 对 其 政策 和 
行为 承担 更 多 的 责任。 同时 ， 我 们 必须 重新 定义 公正 的 概念 ， 以 确保 人 
类 的 行为 目 由 《也 相应 地 为 这 些 行为 承担 责任 ) 。 新 机 构 和 专家 们 需要 
设计 复杂 的 程序 对 大 数据 进行 解读 ， 挖 掘 出 其 潜在 的 价值 和 结论 。 他 们 
也 要 问 那 些 可 能 受害 于 大 数据 结论 的 人 一 一 因 之 被 剥夺 了 工作 、 接 受 医 
疗 或 贷款 权利 的 人 ， 提 供 支 持 。 对 已 有 的 规范 进行 修 修补 补 已 经 不 够 
了 ， 我 们 需要 推陈出新 。 


管理 变革 1: 个 人 隐私 保护 ， 从 个 人 许可 到 让 数据 使 用 者 承担 
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数 十 年 来 ， 全 球 范围 内 的 隐私 规范 都 开始 让 人 们 目 主 决定 是 否 、 如 
何以 及 经 由 谁 来 处 理 他 们 的 信息 ， 把 这 种 控制 权 放 在 了 人 们 目 己 手中 ， 
这 也 是 隐私 规范 的 核心 准则 。 在 互联 网 时 代 ， 这 个 伟大 的 理想 往往 会 演 
变 成 “告知 与 许可 ”的 公式 化 系统 。 


在 大 数据 时 代 ， 因 为 数据 的 价值 很 大 一 部 分 体现 在 二 级 用 途上 ， 而 
0 i 3 i 


在 大 数据 时 代 ， 我 们 需要 设立 一 个 不 一 样 的 隐私 保护 模式 ， 这 个 模 
式 应 该 更 独 重 于 数据 使 用 者 为 其 行为 承担 责任 ， 而 不 是 将 重心 放 在 收集 
数据 之 初 取 得 个 人 同意 上 。 这 样 一 来 ， 使 用 数据 的 公司 就 需要 基于 其 将 
对 个 人 所 造成 的 影响 ， 对 涉及 个 人 数据 再 利用 的 行为 进行 正规 评测 。 当 
然 ， 并 不 是 说 任何 时 候 都 必须 非常 详尽 。 


未 来 的 隐私 保护 法 应 当 区 分 用 途 ， 包 括 不 需要 或 者 只 需要 适当 标准 
化 保护 的 用 途 。 对 于 一 些 危险 性 较 大 的 项 目 ， 管 理 者 必须 设立 规章 ， 规 












































定数 据 使 用 者 应 如 何 评估 风险 、 如 何 规避 或 者 减轻 淤 在 伤害 。 这 将 激发 
数据 的 创新 性 再 利用 ， 同 时 也 确保 个 人 免 受 无 笋 之 灾 。 


对 大 数据 使 用 进行 正规 评测 及 正确 引导 ， 可 以 为 数据 使 用 者 带 来 切 
实 的 好 处 : 很 多 情况 下 ， 他 们 无 须 再 取得 个 人 的 明确 同意 ， 就 可 以 对 个 
人 数据 进行 二 次 利用 。 相 反 地 ， 数 据 使 用 者 也 要 为 敷衍 了 事 的 评测 和 不 
达标 准 的 保护 措施 承担 法 律 责 任 ， 诸 如 强制 执行 、 神 球 甚 至 刑事 处 神 。 
数据 使 用 者 的 贡 任 只 有 在 有 强制 力 规 范 的 情况 下 才能 确保 履行 到 位 。 


为 了 了 解 它 是 如 何 运 用 到 实践 当中 的 ， 我 们 以 第 4 章 提 到 的 数据 化 
个 人 坐姿 信息 为 例 。 假 设 一 家 公司 出 售 了 一 项 以 驾驶 员 坐 姿 为 特定 识别 
和 从 的 汽车 防盗 报 术 。 然 后 ， 它 对 收集 到 的 信息 进行 分 析 ， 预 测 敬 驶 员 的 
注意 力 状 态 《〈 比 如 展 异 和 欲 睡 、 醇 酒 以 及 生气 ) ， 以 此 问 周 围 其 他 鸭 驶 员 
发 出 警报 以 防 发 生 交 通 事故 。 根 据 目前 的 隐私 规范 ， 他 可 能 需要 新 一 轮 
的 告知 与 许可 ， 因 为 这 样 使 用 信息 是 未 经 驾驶 员 授 权 的 。 但 是 如 今 ， 在 
数据 使 用 者 的 贡 任 承担 体系 下 ， 他 们 就 会 评估 预期 用 途 的 危险 性 。 如 果 
E T nrg ioe eee 
I 目标 。 


大 数据 洞察 


将 贡 任 从 民众 转移 到 数据 使 用 者 很 有 意义 ， 也 存在 充分 的 理由 ， 因 
为 数据 使 用 者 比 任 何人 都 明白 他 们 想 要 如 何 利 用 数据 。 他 们 的 评估 《或 
者 由 他 们 所 雇用 的 专家 制定 的 评估 ) 避免 了 商业 机 蜜 的 泄露 。 也 许 更 为 
重要 的 是 ， 数 据 使 用 者 是 数据 二 级 应 用 的 最 大 受益 者 ， 所 以 理所当然 应 
该 让 他 们 对 目 己 的 行为 负责 。 


此 外 ， 与 目前 大 多 数 隐私 保护 法 所 要 求 的 不 一 样 ， 数 据 使 用 者 达到 
了 最 初 目 的 之 后 ， 法 律 上 不 再 规定 必须 删除 个 人 人 信息。 相反， 数据 使 用 
者 被 允许 较 长 时 间 地 保存 数据 ， 虽 然 不 能 永远 。 这 是 一 个 意义 重大 的 变 
人 蔷 ， 因 为 ， 就 像 我 们 所 知道 的 ， 只 有 开发 数据 的 潜在 价值 ， 对 数据 价值 
进行 最 大 程度 的 挖掘 ， 近 代 “ 葛 里 ” 们 才能 发 展 索 荣 ， 并 促进 自身 和 社会 
ee 
风险 。 


为 实现 这 一 平衡 ， 监 管 机 制 可 以 决定 不 同 种 类 的 个 人 数据 必须 删 


除 的 时 间 。 再 利用 的 时 间 框 架 则 取决 于 数据 内 在 风险 和 社会 价值 观 的 
不 同 。 一 些 国家 也 许 会 更 谨慎 ， 而 茶 些 种 类 的 数据 也 许 会 更 敏感 。 
















































































这 一 方式 通过 限制 个 人 信息 存储 和 处 理 的 时 间 而 保护 了 个 人 隐私 ， 

也 可 以 消除 “永久 记忆 ”的 怒 慨 一 一 水 不 磨灭 的 数字 记录 让 人 无 法 告别 过 
Bo BANTAM AB i BK EE eZ ll Pe ELE, SE Ze 
因为 一 件 私事 或 者 一 次 遗憾 的 购买 记录 而 被 翻 出 来 再 次 刺 痛 我 们 。 时 间 
限制 也 激励 数据 使 用 者 在 有 权限 的 时 间 内 尽力 挖 据 出 数据 的 价值 。 这 就 
古 我 们 认为 更 适用 于 大 数据 时 代 的 平衡 :公司 可 以 利用 数据 的 时 间 更 

T ts 
数据 的 义务 。 


大 数据 洞察 


除了 省 理 上 的 转变 ， 即 从 个 人 许可 到 数据 使 用 者 承担 相应 责任 的 转 
变 ， 我 们 也 需要 发 明 并 推行 新 技术 方式 来 促进 隐私 保护 。 一 个 创新 途径 
就 是 “差别 隐私 ”: 故意 将 数据 模糊 处 理 ， 促 使 对 大 数据 库 的 查询 不 能 显 
示 精 确 的 结果 ， 而 只 有 相近 的 结果 。 这 就 使 得 挖 出 特定 个 人 与 特定 数据 
点 的 联系 变 得 难以 实现 并 且 耗 费 巨 大 。 


信息 模糊 处 理 听 起 来 似乎 破坏 了 其 解读 价值 ， 但 是 也 并 不 一 定 ， 至 
少 这 是 一 个 折 中 的 好 办 法 。 例 如 ， 技 术 政策 专家 特别 提 到 Facebook 将 用 
PERREN BAPAE EMA: 只 能 得 出 大 概 数量 ， 所 
以 它们 不 会 暴露 个 人 身份 。 查 询 亚 特 兰 大 州 对 Ashtanaga 瑜 伽 感 兴 趣 的 
亚洲 女性 ， 会 得 出 诸如 “400 左 右 ” 这 样 的 结果 而 非 一 个 定 值 。 因 此 ， 利 
用 这 个 信息 排查 到 个 人 是 不 可 能 的 。 


个 人 隐私 保护 从 个 人 许可 到 数据 使 用 者 承担 贡 任 的 转变 是 一 个 本 质 
上 的 重大 变革 。 我 们 必须 将 类 似 范 围 内 的 变 章 应 用 到 大 数据 预测 中 去 ， 
以 维护 人 类 的 自由 和 责任 。 


EHRE: 个 人 动因 VS 预测 分 析 


在 法 寿 上 ， 个 人 对 目 己 的 行为 负 有 责任 。 一 鳃 公正 的 审讯 之 后 ， 审 
判 员 会 做 出 公平 公正 的 判决 。 然 而 ， 在 大 数据 时 代 ， 关 于 公正 的 概念 
需要 重新 定义 以 维护 个 人 动因 的 想法 人 们 选择 自我 行为 的 自由 意 
志 。 简 单 地 说 ， 束 是 个 人 可 以 并 应 该 为 他 们 的 行为 而 非 倾 加 负责 。 


在 大 数据 时 代 之 前 ， 这 是 明显 而 基本 的 自由 权利 。 事 实 上 ， 明 确 到 
不 需要 进行 说 明 。 些 部 ， 我 们 的 法 律 体系 就 是 这 样 运作 的 ， 通过 评判 人 
们 过 去 的 行为 使 之 为 其 行为 承担 责任 。 然 而 ， 有 了 大 数据 ， 我 们 就 能 预 






























































测 人 的 行为 ， 有 时 还 能 十 分 准确 。 这 诱 使 我 们 依据 预测 的 行为 而 非 实际 
行为 对 人 们 进行 评定 。 


大 数据 洞察 


吴 处 大 数据 时 代 ， 我 们 必须 拓宽 对 公正 的 理解 ， 必 须 把 对 个 人 动因 
的 保护 纳入 进来 ， 就 像 目前 我 们 为 程序 公正 所 做 的 努力 一 样 。 如 知 不 
然 ， 公 正 的 信念 就 可 能 被 完全 破坏 。 


通过 保证 个 人 动因 ， 我 们 可 以 确保 政府 对 我 们 行为 的 评判 是 基于 真 
实行 为 而 非 单纯 依 徘 大 数据 分 析 。 从 而 ， 政 府 只 能 依法 对 我 们 过 去 的 真 
实行 为 进行 妃 究 ， 而 不 可 以 退 完 大 数据 预测 到 的 我 们 的 未 来 行为 :， 或 
者 ， 在 政府 评判 我 们 过 去 的 行为 时 ， 也 应 该 防止 单纯 依赖 大 数据 的 分 
析 。 例 如 ， 在 对 两 家 涉嫌 操纵 价格 的 公司 进行 调查 时 ， 我 们 完全 可 以 借 
助 大 数据 分 析 移 作出 大 概 判定 ， 然 后 监管 机 构 再 以 传统 手段 立案 和 进行 
站 
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相似 的 原理 应 当 运用 到 政府 领域 之 外 ， 比 如 公司 在 进行 天 手 我 们 个 
人 利 普 的 重大 决策 时 一 一 雇用 与 解雇 ， 同 意 按 揭 或 者 拒 发 信用 卡 。 如 果 
他 们 单纯 依据 大 数据 预测 作出 这 些 决 策 ， 特 定 的 防护 措施 就 必须 到 位 。 


e 第 一 ， 公 开 原 则 。 因 为 这 将 直接 影响 到 个 人 ， 所 以 必须 公开 用 来 
进行 预测 分 析 的 数据 和 算法 系统 。 


e 第 二 ， 公 正 原则 。 具 备 由 第 三 方 专家 公证 的 可 徘 、 有 效 的 算法 系 
Tio 


e 第 三 ， 可 反驳 原则 。 明 确 提 出 个 人 可 以 对 其 预测 进行 反驳 的 具体 
方式 《这 类 似 于 科学 研 究 中 披露 任何 可 能 影响 研究 结案 的 因 系 的 信 
J 


e 最 重要 的 是 ， 要 确保 个 人 动因 能 防范 “数据 独裁 ?的 危害 一 一 我 们 
赋予 数据 本 不 具备 的 意义 和 价值 。 
保护 个 人 责任 也 同样 重要 。 也 许 这 一 点 很 具有 吸引 力 一 一 社会 无 论 


何 时 做 出 关乎 他 人 的 决策 时 ， 都 不 再 需要 决策 者 们 承担 贡 任 。 相 反 ， 臣 
会 将 重心 转移 到 风险 管理 上 ， 即 评测 可 能 性 以 及 对 其 进行 风险 评 佑 。 有 





















































了 所 有 看 似 客观 的 数据 ， 对 我 们 的 决策 过 程 去 情绪 化 和 去 特殊 化 ， 以 运 
算法 则 取代 审判 员 和 评价 者 的 主观 评价 ， 不 再 以 奶 完 责任 的 形式 表明 我 
们 的 决策 的 严肃 性 ， 而 是 将 其 表述 成 更 “客观 ?的 风险 和 风险 规避 ， 听 起 
来 都 是 不 错 的 主意 。 


比如 说 ， 大 数据 强烈 诱 使 我 们 隔离 那些 被 预言 将 会 犯罪 的 人 们 ， 以 
减少 风险 的 名 义 对 其 进行 不 断 审查 ， 即 使 他 们 确实 在 为 尚 不 需 承 担 责任 
的 事情 接受 惩 避 。 设 想 一 下 , “预测 警 务 * 的 运算 法 则 鉴定 茶 个 青少年 在 
未 来 五 年 内 很 可 能 犯 重罪 。 结 果 ， 当 局 决定 派 道 一 名 社会 工作 者 每 月 拜 
访 他 一 次 以 对 其 进行 监视 ， 并 尽力 帮助 他 解决 问题 。 如 果 该 少年 及 其 杀 
属 、 有 朋友、 老师 或 雇主 将 这 种 拜访 视 为 一 种 耻辱 〈 这 种 情况 极 有 可 能 发 
ED, AAR EET TIME, Pare A ACEI ASR N. A 
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能 ， 即 作为 一 种 将 风险 降 至 最 低 的 方式 《在 这 里 指 的 是 将 破坏 公共 安全 
的 犯罪 风险 减 到 最 小 ) ， 情 况 照 样 好 不 到 哪儿 去 。 社 会 越 是 用 干预 、 降 
低 风险 的 方式 取代 为 自己 的 行为 负责 ， 残 越 会 导致 个 人 贡 任 意识 的 凤 
值 。 主 张 预 测 的 国家 是 保姆 式 的 国家 ， 而 且 远 不 止 如 此 。 人 否认 个 人 为 其 
行为 承担 黄 任 实际 上 束 是 在 摧毁 人 们 目 由 选择 行为 的 权利 。 


如 果 国 家 做 出 的 许多 决策 都 是 基于 预测 以 及 减少 风险 的 愿望 ， 就 不 
存在 所 谓 个 人 的 选择 了 ， 也 不 用 提 自 主 行为 的 权利 。 无 罪 ， 无 清白 。 如 
此 一 来 ， 世 界 不 止 不 会 进步 ， 反 而 在 倒退 。 


大 数据 洞察 


大 数据 管理 的 基本 支撑 是 保证 我 们 依然 是 通过 考虑 他 人 的 个 人 员 任 
对 其 进行 评判 ， 而 不 是 借助 “客观 ”数据 处 理 去 决定 他 们 是 否 违法 。 只 有 
这 样 ， 我 们 才 是 把 其 当 作 人 来 对 竺 一 一 当 作 有 行为 选择 自由 和 通过 目 主 
行为 被 评判 的 人 。 这 惑 是 从 大 数据 推论 到 今天 的 无 菲 推定 原则 。 


常理 变 音 3: 击 俯 黑 例子 ， 大 数据 算法 师 的 崛起 


目前 ， 计 算 机 系统 做 出 决策 的 方式 是 基于 程序 明确 设 定 所 需 遵 循 的 
规划。 这 样 ， 如 果 它 们 的 决策 出 错 ( 这 是 不 可 避免 的 ) ， 我 们 就 可 以 回 
过 头 来 找 出 计算 机 做 出 错误 决策 的 原因 。“ 为 什么 外 部 感应 莫 遭 遇 空 气 
湿度 激增 的 情况 时 ， 智 能 飞行 系统 使 机 上 升 了 5 度 ? ”等 。 现 在 的 计算 
机 编码 能 被 解码 、 检 查 ， 并 且 可 以 解读 其 决策 依据 一 一 无 论 多 么 复杂 ， 
至 少 对 于 懂得 如 何 解 码 的 人 不 存在 问题 。 
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进行 预测 分 析 的 计算 机 系统 往往 过 于 复杂 ， 根 本 无 法 理解 。 但 当 计 算 机 
按 程序 设置 明确 执行 一 系列 指令 时 ， 和 情况 就 不 一 样 了 。 例 如 1954 年 早 
期 ， 在 IBM 将 俄 文 译 成 英文 的 翻译 程序 中 ， 人 们 残 能 轻松 理解 一 个 单词 
译 成 妨 一 个 单词 的 原因 。 但 是 ， 对 于 谷歌 利用 几 十 亿 页 的 翻译 数据 开发 
出 的 翻译 系统 ， 当 其 将 英文 单词 ight” 译 成 “ 光 ” 而 不 是 “重量 轻 * 时 ， 就 
不 可 能 清楚 地 解释 如 此 选择 的 原因 ， 毕 葛 这 个 预测 分 析 是 基于 海量 数据 
和 庞大 的 统计 计算 之 上 的 。 


大 数据 的 运作 是 在 一 个 超出 我 们 正常 理解 的 范围 之 上 的 。 例 如 ， 
谷歌 所 确定 的 与 流感 相关 的 检索 词 条 是 通过 测试 了 4.5 亿 个 数学 模型 而 
得 出 的 。 而 泣 西 亚 : 鲁 丁 最 初 为 判断 沙井 盖 是 否 会 着 火 设 定 了 106 个 预测 
器 ， 因 此 才能 向 联合 爱迪生 电力 公司 的 经 理解 释 为 何 程序 要 求 优 先 检 查 
某 个 沙井 盖 。“ 可 解释 性 ”正如 在 人 工 智能 界 所 称 的 一 样 ， 对 于 不 仅 想 知 
道 “ 是 什么 ”更 想 知 道 “ 为 什么 ”的 人 类 来 说 非常 重要 。 可 是 ， 如 果 系 统 自 
动 生 成 的 不 是 106 个 预测 器 ， 而 是 601 个 的 话 ， 那 该 怎么 办 呢 ? 虽然 其 中 
大 部 分 都 没有 多 大 用 途 ， 但 是 一 旦 汇聚 起 来 就 能 提高 模型 的 准确 性 ， 而 
预测 的 基础 就 会 变 得 尺 人 地 复杂 。 如 此 的 话 ， 注 西亚. 鲁 丁 如 何 能 说 服 
联合 爱迪生 电力 公司 的 经 理 再 分 配 它 们 本 就 不 多 的 预算 呢 ? 


在 这 些 背 景 下 ， 我 们 能 看 到 大 数据 预测 、 运 算法 则 和 数据 库 有 变 为 
黑 盒 子 的 风险 ， 这 个 黑 盒子 不 透明 、 不 可 解释 、 不 可 追踪 ， 因 而 我 们 对 
其 信心 全 无 。 为 了 防止 这 些 情 况 的 出 现 ， 大 数据 将 需要 被 监测 并 保持 透 
明度 ， 当 然 还 有 使 这 两 项 得 以 实现 的 新 型 专业 技术 和 机 构 。 它 们 将 为 许 
多 领域 提供 文 持 ， 在 这 些 领域 里 社会 需要 检测 预测 结果 并 能 够 为 被 其 错 
误 引 导 的 人 和 群 提 供 弥 补 方法 。 


社会 发 展 出 现 过 很 多 这 种 情况 ， 当 一 个 特定 领域 变 得 特别 复 林 和 专 
门 化 之 后 ， 束 会 催生 出 对 运用 新 技术 的 专门 人 才 的 迫切 需求 。 在 一 个 多 
世纪 以 前 ， 法 律 、 医 学 、 会 计 以 及 工程 学 领域 都 经 历 过 这 种 转型 。 不 入 
前 ， 计 算 机 安全 和 隐私 顾问 的 突然 兴起 ， 证 实 了 公司 都 在 遵循 由 一 些 组 
织 确立 的 行业 最 佳 做 法 ， 如 国际 标准 化 组 织 ， 它 古 为 满足 这 个 领域 对 准 
则 的 需要 而 自发 形成 的 。 


大 数据 洞察 


大 数据 将 要 求 一 个 新 的 人 群 来 扮演 这 种 角色 ， 也 许 他 们 会 被 称 
作 “ 算 法 师 *。 他 们 有 两 种 形式 ， 在 机 构 外 部 工作 的 独立 实体 和 机 构 内 部 

































































的 工作 人 员 一 一 正如 公司 有 内 部 的 会 计 人 员 和 进行 鉴证 的 外 部 审计 师 。 


这 些 新 的 专业 人 员 会 是 计算 机 科学 、 数 学 和 统计 学 领域 的 专家 ， 他 
们 将 担任 大 数据 分 析 和 预测 的 评估 专家 。 他 们 必须 保证 公正 和 保密 ， 束 
像 现在 的 审计 员 和 其 他 专业 人 员 所 做 的 一 样 。 他 们 可 以 评估 数据 源 的 挑 
选 ， 分 析 和 预测 工具 的 选取 ， 甚 至 包括 运算 法 则 和 模型 ， 以 及 计算 结果 
的 解读 是 否 正确 合理 。 一 旦 出 现 争 议 ， 他 们 有 权 考 察 与 分 析 结 果 相 关 的 
运算 法 则 、 统 计 方法 以 及 数据 集 。 


如 末 2004 年 美国 国土 安全 部 配备 有 一 名 算法 师 ， 它 也 许 不 会 生成 一 
份 这 么 差劲 的 禁 飞 名 单 ， 兑 然 把 马萨诸塞 州 参议 员 特 德 :肯尼迪 都 列 入 
了 其 中 。 最 近 在 日 本 、 法 国 、 德 国 和 意大利 ， 算 法 师 也 可 以 发 挥 作用 ， 
这 些 国 家 的 很 多 人 认为 谷歌 的 “自动 完成 ”特征 程序 诽谤 了 他 们 。 这 是 一 
个 生成 与 姓名 相关 的 普 过 搜索 词 的 程序 ， 它 很 大 程度 上 依据 的 是 之 前 的 
搜索 频率 : 这 些 词 条 根据 数学 概率 进行 排名 。 如 条 类 似 “ 犯 徘 ?或 者 “ 娼 
奴 ” 这 样 的 字眼 出 现在 你 姓名 劳 边 ， 而 碰巧 被 你 的 业务 伙伴 或 者 爱人 看 
到 了 ， 你 能 不 气 疾 吗 ? 


我 们 将 “算法 师 ? 的 概念 视 为 是 在 以 市 场 为 导 问 来 解决 这 些 问 题 ， 这 
也 就 避免 了 以 侵入 式 的 规章 来 解决 问题 。 他 们 和 20 世 纪 早 期 为 了 处 理 泛 
滥 的 财务 信息 而 出 现 的 会 计 以 及 审计 员 一 样 ， 都 是 为 了 满足 新 需求 而 出 
现 的 。 一 般 人 很 难 理解 这 样 的 数字 冲击 ， 所 以 必须 有 一 群 以 一 种 灵活 的 
目 我 监管 方式 组 织 起 来 的 专业 人 员 去 保护 大 众 的 利益 。 于 是 ， 提 供 专门 
的 金融 监管 服务 的 新 公司 就 这 样 应 运 而 生 。 如 此 一 来 ， 这 种 新 类 型 的 专 
门人 才 也 帮助 社会 大 众 增 强 了 他 们 对 经 济 本 身 的 信心 。 大 数据 可 以 也 应 
该 从 算法 师 给 予 的 类 似 信心 提 振 中 获 利 。 


外 部 算法 师 


外 部 算法 师 将 扮演 公正 的 审计 员 的 角色 ， 在 客户 或 政府 所 要 求 的 任 
何 时 候 ， 根 据 法 律 指令 或 规章 对 大 数据 的 准确 程度 或 者 有 效 性 进行 鉴 
定 。 他 们 也 能 为 需要 技术 文 持 的 大 数据 使 用 者 提供 审计 服务 ， 还 可 以 为 
他 们 证 实 大 数据 应 用 程序 的 健全 性 ， 例 如 反 欺 诈 技 术 或 者 股票 交易 系 
统 。 最 后 ， 他 们 将 和 政府 商议 公共 领域 大 数据 的 最 佳 使 用 办 法 。 


就 像 医 学 、 法 律 和 其 他 行业 一 样 ， 我 们 设想 这 个 新 行业 会 有 目 己 的 
行业 规范 。 算 法 师 的 公正 、 保 密 、 资 历 以 及 专业 水 准 可 用 严 苛 的 贡 任 规 
范 来 进行 强制 约束 ， 如 果 他 们 不 能 达到 这 些 标准 ， 就 可 能 被 起 诉 。 他 们 
























































可 以 调任 为 审讯 中 的 专家 证 人 ， 或 在 审讯 中 遇 到 特别 复杂 的 大 数据 问题 
时 被 法 官 委 派 为 “法 院 专 家 ”一 一 主要 是 指 某 一 个 学 科 领 域 专家 为 案件 审 
理 提 供 援助 。 


此 外 ， 当 人 们 认为 他 们 受到 大 数据 预测 危害 一 一 被 拒绝 手术 、 被 拒 
绝 假释 、 被 拒绝 抵押 贷款 时 ， 便 可 以 向 算法 师 咨 询 并 针对 这 些 决 定 提起 


诉讼 。 
内 部 算法 师 


内 部 算法 师 在 机 构 内 部 工作 ， 监 督 其 大 数据 活动 。 他 们 不 仅 要 考虑 
公司 的 利益 ， 也 要 顾及 受到 公司 大 数据 分 析 影 响 的 其 他 人 的 利益 。 他 们 
监督 大 数据 的 运转 ， 任 何 认 为 遭受 其 公司 大 数据 危害 的 人 都 会 最 初 与 他 
们 取得 联系 。 在 公布 大 数据 分 析 结果 之 前 ， 他 们 也 对 其 完整 性 和 准确 度 
进行 审查 。 为 了 扮演 好 这 两 个 角色 ， 算 法 师 首 先 要 做 到 的 就 是 必须 在 工 
作 机 构 内 部 拥有 一 定 程度 的 自由 和 公正 。 


个 人 为 公司 工作 却 又 要 保持 公正 似乎 违背 常识 ， 但 事实 上 这 十 分 常 
见 。 大 型 金融 机 构 的 监管 部 门 是 一 个 例子 ， 许 多 公司 的 董事 会 也 是 如 
此 ， 他 们 是 对 股东 负责 而 非 管理 者 。 许 多 传媒 公司 ， 包 括 《 纽 约 时 
报 》、《 华 盛 顿 邹 报 》 都 会 雇用 外 部 监察 人 来 维护 公众 信任 。 他 们 解决 
读者 的 问题 ， 当 他 们 发 现存 在 不 当 行 为 时 ， 也 经 党 公开 责难 雇主 。 


甚至 ， 与 内 部 算法 师 更 类 似 的 职业 也 同样 存在 ， 即 负责 确保 企业 不 
滥用 个 人 信息 的 职业 人 。 例 如 在 德国 ， 上 共有 一 定 规 模 的 公司 (有 10 个 或 
以 上 人 员 处 理 个 人 信息 ) 必须 任命 一 名 数据 保护 代表 。20 世 纪 70 年 代 以 
来 ， 数 据 保护 代表 们 逐渐 形成 了 自己 的 职业 道德 和 团体 精神 。 他 们 进行 
定期 会 面 ， 分 吾 最 好 的 实践 经 验 并 进行 塔 训 ， 他 们 拥有 目 己 专 门 的 媒体 
和 会 议 ， 他 们 也 成 功 地 实现 了 一 方面 忠于 屠 主 ， 另 一 方面 忠于 上 自己 作为 
公证 人 的 职 贡 。 德 国 的 企业 数据 保护 代表 们 取得 了 很 大 的 成 功 ， 既 充当 
了 企业 数据 保护 监察 人 ， 又 将 信息 保密 观念 嵌入 了 整个 企业 运作 过 程 。 
我 们 相信 ， 算 法 师 同样 也 能 做 到 。 


管理 变革 4: SGA KS 


数据 之 于 信息 社会 就 如 燃料 之 于 工业 革命 ， 是 人 们 进行 创新 的 力量 
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在 这 一 章节 ， 我 们 已 经 提 及 了 管理 上 的 三 个 基本 转变 。 随 着 这 些 转 
变 的 完成 ， 我 们 相信 ， 大 数据 的 不 利 影响 将 会 得 到 控制 。 然 而 ， 随 着 尚 
未 成 熟 的 大 数据 产业 的 不 断 发 展 ， 妃 一 个 重要 的 挑战 将 会 是 如 何 保护 极 
其 竞争 力 的 六 数据 市 场 。 我 们 必须 防止 21 世 纪 数 据 关 孚 的 崛起 ， 它 相当 
于 19 世 纪 强 盗 大 他 的 现代 翻版 ， 那 些 强盗 大 亨 曾 垄断 了 美国 的 铁路 、 钢 
铁 生 产 和 电报 网 络 。 


为 了 管理 这 些 新 兴 行 业 ， 美 国 制定 了 适应 性 极 强 的 反 垄 断 条 例 。 最 
初 是 在 19 世 纪 为 铁路 行业 制定 的 ， 后 来 又 被 应 用 到 了 竺 管 商 业 信息 的 其 
他 公司 ， 从 20 世 纪 最 初 十 年 的 国家 收银 机 公司 (National Cash 
Register) ， 到 20 世 纪 60 年 代 的 IBM、70 年 代 的 施乐 公司 、80 年 代 的 AT 
&T、90 年 代 的 微软 和 今天 的 谷歌 。 这 些 公 司 所 开辟 的 技术 成 了 经 济 结 
构 中 “信息 基础 设施 ”的 核心 组 成 部 分 ， 所 以 为 了 防止 它们 垄断 ， 法 律 的 
文 持 必 不 可 少 。 


为 了 确保 给 大 数据 提供 一 个 与 早期 技术 领域 情况 相当 的 活跃 的 市 场 
环境 ， 我 们 应 该 实现 数据 交易 ， 比 如 通过 授权 和 协同 合作 的 方式 。 但 
是 ， 这 就 引发 了 一 个 问题 ， 精 心 达到 平衡 的 数据 独 有 权 ， 是 舍 能 让 社会 
大 众 从 中 获 利 ? 虽然 听 起 来 有 点 挑 寿 的 意味 ， 但 是 这 是 人 否 能 像 知 识 产 权 
一 样 有 利于 社会 呢 ? 诚然 ， 要 达到 这 样 的 效果 ， 对 于 决策 者 来 说 ， 是 一 
个 艰难 的 任务 ， 而 对 于 普通 人 来 说 ， 则 充满 了 风险 。 技 术 发 展 变 私 ] 葛 
测 ， 无 从 定论 ， 大 数据 也 无 法 预测 自己 的 未 来 。 监 管 人 员 需 要 既 大 胆 叉 
细心 ， 而 实现 这 两 者 的 平衡 ， 可 以 学 习 反 垄断 法 的 发 展 历史 。 


反 董 断 法 过 制 了 权力 的 滥用 。 然 而 令 人 惊奇 的 是 ， 这 些 条 例 能 从 一 
个 领域 完美 转移 到 另外 一 个 领域 ， 并 且 适 用 于 不 同类 型 的 网 络 产业 。 这 
种 不 带 任何 偏 祖 的 强 有 力 的 规章 非常 实用 ， 因 为 它 提 供 的 是 一 个 平等 的 
竞争 平台 ， 一 开始 便 没有 任何 优 爷 之 分 。 因 此 ， 为 了 促进 大 数据 平台 上 
的 良性 竞争 ， 政 府 必须 运用 反华 断 条 例 。 而 且 ， 就 像 世 界 上 一 些 大 型 的 
数据 拥有 者 那样， 政府 也 应 该 公有 其 数据 。 令 人 高 兴 的 是 ， 这 一 切 正在 























反 垄 断 法 的 经 验 是 ， 一 旦 确定 了 极 重 要 的 原则 ， 管 理 者 束 要 将 之 付 
诸 行动 ， 以 确保 保护 措施 的 实施 到 位 。 同 样 ， 我 们 提出 了 三 项 策略 ， 包 
括 隐 私 保 护 从 个 人 许可 到 数据 使 用 者 承担 责任 的 转弯， 在 使 用 预测 分 析 
时 考虑 个 人 动因 以 及 众生 大 数据 审计 员 ， 也 残 是 算法 师 。 这 都 将 是 大 数 
据 时 代 对 信息 进行 有 效 、 公 正 管理 的 基础 。 








伴随 着 从 核 技 术 到 生物 工程 学 其 他 领域 的 发 展 ， 人 类 总 是 先 创 造 出 
可 能 危害 目 身 的 工具 ， 然 后 才 痢 手 建立 保护 上 自己、 防范 危险 的 安全 机 
制 。 在 这 方面 ， 大 数据 也 和 其 他 领域 的 新 技术 一 样 ， 币 来 了 无 法 彻底 解 
决 的 问题 。 另 外 ， 它 们 也 不 断 对 我 们 管理 世界 的 方法 提出 挑 成 。 而 我 们 
的 任务 是 要 意识 到 新 技术 的 风险 ， 促 进 其 发 展 ， 然 后 斩获 成 果 。 


正如 印刷 机 的 发 明 引 发 了 社会 目 我 管理 的 变革 ， 大 数据 也 是 如 此 。 
它 迫 使 我 们 借助 新 方式 来 应 对 长 期 存在 的 挑战 ， 并 且 通 过 借鉴 基本 原理 
对 新 的 隐患 进行 应 对 。 不 过 ， 推 进 科 学 拉 术 进步 的 同时 ， 应 确保 人 类 上 自 
吴 的 安全 。 因 此 ， 我 们 不 能 让 大 数据 的 发 展 超出 我 们 可 以 控制 的 范围 。 














结语 正在 及 生 的 未 来 


大 数据 并 不 是 一 个 充斥 大 算法 和 机 融 的 冰冷 世界 ， 人 类 的 作用 依然 
无 法 被 完全 普 代 。 大 数据 为 我 们 提供 的 不 是 最 终 答 案 ， 只 是 参考 答案 ， 
帮助 是 暂时 的 ， 而 更 好 的 方法 和 答案 还 在 不 久 的 未 来 。 
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麦克 . 弗 劳 尔 (Mike Flower) 是 21 世 纪 初 曼哈顿 地 区 检察 官办 公 室 
的 一 名 律师 ， 负 责 过 从 谋杀 案 到 华尔街 金融 犯罪 等 各 式 各 样 的 诉讼 案 
件 ， 后 来 他 转 到 一 家 大 型 的 企业 律师 事务 所 工作 。 在 办 公 巢 后 上 度 过 了 无 
聊 的 一 年 后 ， 他 决定 离开 。 他 想 做 些 更 有 意义 的 事情 ， 随 即 想 到 了 去 帮 
助 重建 伊拉克 。 在 公司 的 一 位 朋友 给 高 层 打 了 几 个 电话 后 ， 上 弗 劳 尔 被 派 
去 了 绿色 区 域 ， 也 就 是 美军 驻 巴 格 达 市 中 心 的 安全 地 带 ， 成 为 了 萨 达 姆 ， 
修 赛 因 审 判 律师 团 中 的 一 名 律师 。 


他 主要 负责 后 勤 事 务 ， 而 不 是 相关 的 法 律 工 作 。 他 负 贡 将 证 人 运送 
到 绿色 区 域 ， 其 间 需 要 安全 通过 无 数 每 天 都 会 上 演 的 简易 爆炸 装置 袭击 
GED) 。 他 看 到 了 和 军队 人 员 是 如 何 将 这 当 作 数据 问题 来 进行 处 理 的 。 
情报 分 析 员 结合 实地 考察 报 告 和 过 去 IED 和 袭击 地 点 、 时 间 和 人 员 伤 亡 的 
详细 信息 ， 据 此 预测 一 天 中 最 安全 的 运送 路 线 。 


在 弗 苑 尔 回 到 纽约 两 年 后 ， 他 意识 到 这 些 方法 其 实 是 一 个 打击 犯罪 
的 有 力 方式 一 一 比 他 过 去 作为 检察 官 所 掌握 的 方式 更 棒 。 弗 达尔 之 后 被 
任命 为 专案 组 成 员 ， 研 究 可 能 揭露 2009 年 次 贷 丑 闻 罪 犯 的 数据 。 这 个 团 
队 做 得 非常 出 色 ， 以 至 于 一 年 后 ， 纽 约 市 长 布 隆 伯 格 要 求 扩大 规模 。 弗 
开 尔 成 了 全 市 首 个 “分 析 主 任 ?， 他 的 任务 就 是 找到 了 最 优秀 的 数据 科学 家 
并 组 建 团队 ， 利 用 城市 尚未 开发 的 信息 库 ， 收 获 一 切 可 能 的 效益 。 


RARA TRIAS EKAM ZWN. "我 对 经 验 丰 军 的 统计 学 家 
没有 兴趣 ， 我 担心 他 们 不 愿意 采取 这 种 新 方法 来 解决 问题 。” 当 他 采访 
RERI EREE W H EART, MATE R pe h E NE TE AI A fe 
题 。“ 我 甚至 没有 想到 我 要 使 用 什么 样 的 模式 。 我 想 要 可 执行 的 洞察 
力 ， 这 是 我 所 关注 的 。” 他 说 。 最 后 ， 厚 劳 尔 一 共 挑 选 了 5 个 人 组 成 团 
队 ， 他 称 他 们 为 小伙子”。 除 一 名 成 员外 ， 其 他 都 是 刚 毕 业 一 两 年 的 经 
济 学 专业 学 生 ， 而 且 从 未 在 大 城市 生活 过 ， 但 他 们 都 很 有 创造 力 。 


他 们 最 早 处 理 的 事件 之 一 是 “非法 改建 >， 即将 一 套 住房 隔 出 很 多 小 
房间 ， 这 样 就 能 够 多 容纳 10 倍 的 人 。 非 法 改建 会 带 来 巨大 的 火灾 隐患， 
也 是 犯罪 、 和 毒品 、 疾 病 和 虫害 铬 化 的 温床 。 乱 拱 一 般 的 分 机 线 强 会 沿 增 
壁 罕 过 ， 电 炉 可 能 会 放 在 床单 的 上 面 ， 一 旦 发 生火 灾 ， 人 也 许 会 被 里 得 
紧 紧 地 芋 里 火海 。2005 年 ， 两 名 消防 队员 因 营 救 非 法 改建 住房 的 人 而 死 



































亡 。 纽 约 市 每 年 会 受到 约 25000 起 非法 改建 的 投诉 ， 但 只 有 200 名 检察 员 
在 处 理 这 些 事情 。 似 乎 没有 什么 好 办 法 来 区 分 简单 的 滋 扰 事件 和 严重 的 
爆炸 起 火 事件 。 但 对 弗 劳 尔 和 他 的 小 伙 子 们 来 说 ， 这 看 起 来 更 像 是 一 个 
可 以 用 大 量 数据 来 解决 的 问题 。 


他 们 将 城市 里 的 90 万 栋 建筑 都 列 在 表 上 ， 然 后 输入 来 自 19 个 不 同 机 
构 的 数据 集 。 这 些 数据 显示 了 建筑 业主 是 否 拖 欠 了 应 缴 房 产 税 ， 是 否 
止 赎 诉 讼 ， 是 否 有 公用 设施 使 用 卉 第 或 导致 服务 消减 的 未 付 球 项 。 他 们 
还 输入 了 建筑 类 型 、 修 建 时 间 、 救 护 车 访问 次 数 、 犯 罪 率 和 咕 具 动物 投 
诉 等 信息 。 然 后 ， 他 们 将 这 些 数据 与 五 年 来 的 火灾 严重 性 排名 数据 进行 
对 比 并 得 到 一 个 模型 ， 以 此 预测 哪些 投诉 迫切 需要 调查 。 


最 初 ， 许 多 数据 形式 都 不 可 用 。 例 如 ， 在 一 个 城市 里 ， 描 述 地 理 位 
置 的 方法 不 是 唯一 的 ， 每 个 机 构 和 部 门 似乎 都 有 目 己 的 描述 方式 。 建 贷 
部 门 给 予 每 个 建筑 物 一 个 独特 的 号 码 ; 房屋 维护 部 门 也 有 自己 独 有 的 编 
号 系统 ;税务 部 门 依照 街区 和 地 皮 ， 给 予 每 个 建筑 物 特定 的 标识 ， 和 警察 
局 采用 和 华 卡 尔 坐 标 系 ; 消防 局 依托 “电话 学 ”临近 体系 ， 将 建筑 物 与 各 个 
消防 站 的 位 置 联系 在 一 起 ， 尽 管 这 些 电 话 学 并 非 真 实 存 在 。 弗 劳 尔 的 小 
伙 子 们 处 理 这 种 不 统一 的 方式 是 : 以 篆 卡 尔 坐标 系 为 基础 ， 取 用 建筑 物 
周围 的 一 片 辐射 范围 并 从 其 他 机 构 的 数据 库 调 取 地 理 位 置 数据 ， 从 而 建 
人 
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尽管 如 此 ， 他 们 并 不 满足 于 仅仅 对 数据 进行 运算 ， 而 是 会 到 现场 观 
看 检查 员 的 工作 。 他 们 不 断 做 着 大 量 笔记 ， 并 询问 一 切 流程 的 开展 效 
条 。 当 一 个 头发 斑 白 的 领头 人 呼 了 一 声 说 “找到 那个 建筑 不 是 问题 ?时 ， 
他 们 很 想 知 道 为 什么 这 个 人 会 这 么 自信 。 但 领 尖 人 自己 也 说 不 清楚 为 什 
么 ， 不 过 上 弗 劳 尔 的 小 伙 子 们 渐渐 发 现 ， 这 种 直觉 来 自 建 筑 物 外 新 的 砖 
工 ， 它 暗示 着 建筑 物 的 主人 很 重视 这 个 地 方 。 


小 伙 子 们 回 到 自己 的 工作 间 ， 钻 研 着 如 何 能 将 “新 的 砖 工 ”作为 一 种 
言 号 融入 到 他 们 的 模型 中 ， 毕 竞 ， 砖 块 是 没有 被 数据 化 的 。 但 是 可 以 肯 
定 的 是 ， 做 任何 外 部 砖 工 都 需要 城市 许可 证 。 这 些 信 息 都 可 以 用 于 提高 
系统 的 预测 功能 ， 并 且 他 们 发 现 ， 很 多 传统 意义 上 可 疑 的 特点 其实 都 无 


KKH. 


这 种 分 析 法 或 许 揭 示 了 : 有 些 历 史 最 悠久 的 做 事 方 法 并 不 是 最 好 
的 ， 就 好 比 《 点 球 成 金 》 中 的 球 探 们 不 得 不 接受 他 们 直觉 中 的 缺陷 一 












































样 。 例 如 ， 人 们 将 城市 “311? 投 诉 热线 的 来 电 数量 作为 衡量 问题 严重 性 
的 指标 ， 来 电 越 多 说 明 问 题 越 严重 。 但 是 这 种 引导 是 错误 的 。 在 繁华 的 
上 东区 发 现 一 只 老鼠 也 许 会 在 仪 仅 一 个 小 时 之 内 引发 30 个 投诉 电话 。 然 
而 在 布 关 死 斯 区 ， 街 坊 只 有 在 看 到 成 群 结 队 的 老鼠 时 ， 才 会 觉得 有 必要 
打 个 投诉 电话 。 同 样 ， 很 多 非法 改建 的 投诉 也 许 会 让 人 们 议论 纷纷 ， 但 
是 其 后 果 并 没有 那么 严重 。 


2011 年 6 月 ， 弗 劳 尔 和 他 的 小 伙 子 们 开始 启用 他 们 的 系统 和 方法 。 
他 们 每 周 浏览 一 次 可 归 为 “非法 改建 "一 类 的 投诉 ， 将 他 们 认为 前 5% 有 
火灾 危险 的 投诉 转交 给 检查 员 立 刻 跟 进 。 当 和 拿 回 结果 时 ， 所 有 人 都 惊 采 
fi 











大 数据 的 力量 


在 大 数据 分 析 之 前 ， 检 查 员 会 移 跟 进 他 们 认为 最 急 过 的 投诉 ， 而 只 
有 139%6 的 案件 足够 严重 ， 需 要 立刻 去 处 理 。 现 在 ， 他 们 立即 处 理 的 投诉 
案件 占 他 们 所 有 安全 监测 的 70%。 大 数据 节省 了 检查 员 的 时 间 ， 将 效率 
提高 到 原来 的 5 倍 。 他 们 的 工作 也 越 来 越 令 人 满意 : 精力 都 集中 于 最 严 
重 的 问题 。 他 们 新 发 现 的 成 采 还 带 来 了 额外 利益 。 非 法 改建 中 的 火灾 更 
可 能 导致 消防 员 受 伤 或 死亡 ， 概 率 是 普通 案件 的 15 倍 。 消 防 局 因此 非常 
满意 。 弗 和 尔 和 他 的 小 伙 子 们 束 好 像 巫 师 一 样 ， 手 中 的 水 品 球 让 他 们 可 
以 预见 未 来 ， 看 到 哪里 是 最 危险 的 。 他 们 利用 了 大 量 搁置 多 年 的 数据 ， 
这 些 数据 自 收 集 以 来 几乎 没 被 用 过 。 他 们 用 新 的 方法 管理 这 些 信 息 ， 从 
而 提取 出 它们 真正 的 价值 。 他 们 从 大 的 信息 库 中 释放 了 洞察 力 ， 而 这 在 
较 小 数据 中 是 做 不 到 的 ， 这 就 是 大 数据 的 缩影 。 


纽约 市 分 析 炼 金 师 的 经 验 凸 显 了 本 书 中 的 不 少 主题 。 他 们 使 用 了 庞 
大 的 数据 量 ， 而 不 仅 是 一 些 数据 。 他 们 所 列 的 城市 建筑 基本 上 可 以 视 
为 “样本 = 总 体 ”。 位 置信 息 或 救护 车 记录 等 数据 比较 凌乱 ， 但 是 这 并 没 
让 他 们 就 此 放弃 。 更 多 数据 所 带 来 的 好 处 远 比 原始 信息 少 所 带 来 的 弊端 
更 重要 。 他 们 之 所 以 能 取得 成 功 ， 是 因为 城市 的 很 多 功能 都 以 数据 的 形 
和 
高 预测 效果 。 


专家 上 暗示， 无 论 是 目 大 的 统计 学 家 还 是 专 管 投诉 热线 的 公务 员 ， 在 
数据 驱动 方法 面前 都 应 退 大 次 磺 。 与 此 同时 ， 弗 劳 尔 和 他 的 小 伙 子 们 不 
呆 地 让 经 验 丰 富 的 检查 员 来 测试 他 们 的 模型 ， 借 鉴 检察 员 们 的 经 验 ， 使 
系统 表现 得 更 好 。 这 个 项 目 成 功 最 重要 的 原因 是 ， 它 更 多 依赖 的 是 相关 











































































































RA MARA RA 


“BOT A RA RANE, RIE EHITAME 

E. “ARKAEAAINS, HAH, ROARK AEH Bh. R 
不 认为 有 人 提出 房产 止 赎 程 序 和 那个 地 方 是 否 长 期 存在 结构 性 的 火灾 风 
险 之 间 有 任何 关系 。 我 认为 这 么 想 很 患 一 。 他 们 会 认为 有 一 些 潜在 的 因 
素 ， 但 没有 人 会 站 出 来 承认 。 我 不 想 深 究 这 个 ， 我 需要 一 个 能 够 把 握 的 
特定 数据 点 来 告诉 我 它 的 意义 。 如 果 它 很 重要 ， 我 们 束 会 采取 行动 。 如 
末 不 重要 ， 我 们 就 不 会 行动 。 你 知道 ， 我 们 有 真正 需要 解决 的 问题 。 我 
NEARER RIVE EA ARRAN SL” 








大 数据 时 代 ， 和 名 副 其 实 的 “信息 社会 ” 


大 数据 在 实用 层面 的 影响 很 广泛 ， 解 决 了 大 量 的 日 常 问题 。 大 数据 
更 是 利害 侯 关 的 ， 它 将 重 塑 我 们 的 生活 、 工 作 和 思维 方式 。 在 某 些 方 
面 ， 我 们 面临 着 一 个 僵局 ， 比 其 他 划时代 创新 引起 的 社会 信息 范围 和 规 
模 急 剧 扩大 所 带 来 的 影响 更 大 。 我 们 脚下 的 地 面 正在 移动 。 过 去 确定 无 
疑 的 事情 正在 受到 质疑 。 大 数据 需要 人 们 重新 讨论 决策 、 命 运 和 正义 的 
性 质 。 我 们 的 世界 观 正 受到 相关 性 优势 的 挑战 。 拥 有 知识 曾 意 味 着 掌握 
过 去 ， 现 在 则 更 意味 着 能 够 预测 未 来 。 


当 我 们 准备 开发 电子 商务 、 高 生活 于 互联 网 、 进 入 计算 机 时 代 或 者 
拿 起 算盘 时 ， 这 些 事情 比 那 些 代 表 他 们 的 问题 更 加 重要 。 我 们 寻找 原因 
的 想法 可 能 被 高 佑 了 ， 很 多 情况 下 ， 弄 清楚 “是 什么 ” 比 找寻 “为 什么 ”更 
加 重要 ， 因 为 前 者 表明 事实 才 是 我 们 生活 和 思维 的 基础 。 这 些 问题 可 能 
没有 答案 。 或 许 ， 它 们 是 关于 人 在 宇宙 中 的 位 置 以 及 能 否 在 喧嚣 混乱 、 
不 可 理喻 的 世界 中 寻找 到 意义 这 一 永恒 争论 的 一 部 分 。 电 


最 终 ， 大 数据 标志 着 “信息 社会 终于 名 副 其 实 。 我 们 收集 的 所 有 数 
字 信 息 现 在 都 可 以 用 新 的 方式 加 以 利用 。 我 们 可 以 答 试 新 的 事物 并 开局 
新 的 价值 形式 。 但 是 ， 这 需要 一 种 新 的 思维 方式 ， 并 将 挑战 我 们 的 社会 
机 构 ， 甚 至 挑战 我 们 的 认同 感 。 可 以 肯定 的 是 ， 数 据 量 将 继续 增长 ， 处 
理 这 一 切 的 能 力也 是 如 此 。 但 是 ， 现 在 大 多 数 人 都 认为 大 数据 是 一 个 技 
术 问 题 ， 应 侧重 于 人 硬件 或 软件 ， 而 我 们 认为 应 当 更 多 地 考虑 当 数 据说 话 
I RITA 


KBAR 


现在 ， 我 们 可 以 获得 比 以 前 更 多 的 信息 并 进行 分 析 。 在 我 们 诠释 世 
界 时 ， 数 据 不 再 是 限制 我 们 努力 的 因素 了 。 我 们 可 以 利用 更 多 的 数据 ， 
东 些 情况 下 ， 甚 至 是 全 部 数据 。 但 是 这 需要 我 们 采取 非 传 统 的 方法 ， 特 
别 是 要 改变 我 们 理想 中 构成 有 用 信息 的 因素 。 


除了 纠结 于 数据 的 准确 性 、 正 确 性 、 纯 洁 度 和 严格 度 之 外 ， 我 们 也 
应 该 容许 一 些 不 精确 的 存在 。 数 据 不 可 能 是 完全 对 或 完全 错 的 。 当 数据 
的 规模 以 数量 级 增加 时 ， 这 些 混乱 也 就 算 不 上 问题 了 。 事 实 上 ， 它 甚至 
可 以 是 有 好 处 的 ， 因 为 当 我 们 只 想 使 用 一 小 部 分 时 ， 无 须 捕 捉 这 么 多 的 
知识 细节 。 又 因为 我 们 可 以 用 更 快 更 便宜 的 方式 找到 数据 的 相关 性 ， 并 













































































且 效 果 往 往 更 好 ， 而 不 必 努 力 去 寻找 因果 关系 。 当 然 在 茶 些 情况 下 ， 我 
们 仍然 需要 精心 集 划 的 数据 来 做 因 末 关 系 研究 和 控制 实验 ， 如 测试 药物 
的 副作用 或 设计 关键 的 飞机 部 件 。 但 是 在 日 常情 况 下 ， 知 道 “ 是 什么 ” 束 
己 经 足够 ， 不 必 非 要 弄 清 楚 “ 为 什么 "。 大 数据 的 相关 性 将 人 们 指 加 了 比 
探讨 因果 关系 更 有 前 景 的 领域 。 


这 些 相 关 性 能 让 我 们 节省 机 票 钱 和 预测 流感 爆发 ， 并 知道 在 一 个 资 
源 有 限 的 世界 中 应 该 检查 哪些 沙井 盖 和 过 上 度 拥挤 的 建筑 物 。 它 可 以 帮助 
健康 保险 公司 不 做 体检 就 能 决定 保险 覆盖 面 ， 并 降低 提醒 病人 服药 的 成 
本 。 通 过 大 数据 的 相关 性 ， 语 言 可 以 得 到 翻译 ， 汽 车 可 以 在 预测 的 基础 
上 自行 获 驶 。 沃 尔 玛 可 以 了 解 飓风 前 应 在 门店 准备 哪 种 口味 的 绰 拱 名 。 
当然 ， 如 果 能 从 中 得 到 因果 关系 更 好 。 问 题 是 ， 因 果 关 系 往往 很 难 找 
到 ， 通 常 我 们 认为 找到 了 的 时 候 ， 都 是 在 目 其 其 人 。 


我 们 之 所 以 能 做 所 有 这 些 事 ， 新 工具 只 是 个 很 小 的 因素 ， 无 论 是 更 
快 的 处 理 器 、 更 多 的 存储 器 ， 还 是 更 智能 的 软件 和 算法 。 这 些 固然 重 
要 ， 但 是 更 为 根本 的 原因 是 我 们 拥有 了 更 多 的 数据 ， 继 而 世界 上 更 多 的 
事物 个 数据 化 了 。 城 然 ， 人 类 量化 世界 的 雄心 先 于 计算 机 革命 ， 但 古 数 
字 工 具 将 数据 化 提升 到 了 新 的 高 度 。 不 仅 移 动 电话 能 够 跟踪 到 我 们 呼叫 
的 人 和 我 们 所 在 的 位 置 ， 而 且 同 样 的 数据 也 能 用 于 断定 我 们 是 否 生 病 
了 。 不 久之 后 ， 它 或 许 还 能 够 辨别 我 们 是 否 恋 爱 了 。 


大 数据 洞察 


我 们 “做 新 、 做 多 、 做 好 、 做 快 * 的 能 力 能 释放 出 无 限 价 值 ， 产 生 新 
的 局 家 和 和 输家。 大 部 分 的 信息 价值 来 目 二 级 用 途 ， 即 潜 在 价值 ， 而 不 是 
我 们 所 习惯 认为 的 基本 用 途 。 结 果 ， 对 于 大 多 数 数据 来 说 ， 尽 可 能 多 地 
收集 、 等 竺 信息 增值 并 且 让 其 他 更 适合 挖掘 其 价值 的 人 来 分 析 它 才 是 明 
智之 举 〔 前 提 是 此 人 能 够 分 享 开 发 出 的 利润 〉。 


能 置身 于 信息 流 中 央 并 且 能 收集 数据 的 公司 通常 会 楷 荣 兴旺 。 有 效 
利用 大 数据 需要 专业 技术 和 丰富 的 想象 力 ， 即 一 个 能 容纳 大 数据 的 心 
态 ， 但 价值 的 核心 归功 于 数据 本 身 。 有 时 ， 重 要 的 资产 并 不 仅仅 是 能 清 
楚 看 到 的 信息 ， 更 是 从 人们 与 信息 交互 中 收集 到 的 数据 废气 ， 联 明 的 公 
司 可 以 用 它 来 改善 现 有 的 服务 ， 或 推出 全 新 的 服务 。 


大 数据 同时 也 给 我 们 带 来 了 巨大 的 风险 。 它 使 得 目前 用 以 保护 隐私 
的 法 律 手 段 和 核心 技术 失去 了 效果 。 过 去 个 人 里 份 信息 包含 的 是 名 字 、 

































































社会 安全 号 码 、 税 收 记 录 等 ， 其 构成 简单 明了 。 因 此 隐私 保护 相对 比较 
简单 ， 只 要 确保 不 使 用 这 些 信 息 即 可 。 而 今天 ， 即 使 是 最 无 害 的 数据 ， 
只 要 被 数据 收集 器 采集 到 足够 的 量 ， 也 会 暴露 出 个 人 映 份 。 匿 名 化 或 是 
单纯 隐藏 已 不 再 适用 。 不 仅 如 此 ， 现 在 要 是 对 茶 人 进行 监督 ， 必 定 会 侵 
犯 到 较 之 以 往 范 围 更 广 的 个 人 隐私 内 容 。 因 为 政府 在 管理 上 不 仅 要 求 个 
人 信息 尽 可 能 完善 ， 还 记录 了 其 所 有 的 社会 关系、 交往 和 交流 信息 。 


无 论 大 数据 如 何 威胁 到 隐私 保护 ， 最 让 人 们 头疼 的 都 是 行为 倾 癌 问 
题 。 大 数据 预测 的 准确 性 越 来 越 高 ， 它 能 够 预测 行为 的 发 生 ， 在 人 们 犯 
错 之 前 ， 提 前 惩处 。 因 为 预测 的 结果 几乎 不 可 反 驱 ， 人 们 也 就 无 法 为 目 
己 开 脱 。 但 这 种 基于 预测 得 出 的 惩罚 不 仅 违 背 上 自由 意志 的 原则 ， 同 时 也 
否定 了 人 们 会 突然 改变 选择 的 可 能 性 《无 论 可 能 性 有 多 小 ) 。 当 我 们 给 
一 个 人 判定 责任 《并 给 予 惩 天 ) 时 ， 必 须 牢记 人 类 意志 的 神圣 不 可 侵犯 
性 。 人 类 的 未 来 必须 保留 部 分 空间 ， 人 允许 我 们 按照 自己 的 愿望 进行 塑 
造 。 人 否则 ， 大 数据 将 会 扭曲 人 类 最 本 质 的 东西 ， 即 理性 思维 和 目 由 选 


择 。 


应 对 大 数据 的 泗 涌 来 可 ， 我 们 没有 万 无 一 失 的 方法 ， 必 须 建立 规范 
目 身 的 新 准则 。 随 着 社会 越 来 越 熟悉 大 数据 的 特征 和 缺 陷 ， 我 们 可 以 改 
变 一 系列 的 惯例 来 帮助 社会 应 对 这 种 冲击 。 我 们 需要 把 进行 隐私 保护 的 
责任 从 个 人 转移 到 数据 使 用 者 身上 ， 也 就 是 说 ， 数 据 使 用 者 应 该 以 负责 
任 的 态度 使 用 数据 。 


在 一 个 预测 的 时 代 里 ， 人 类 的 自由 意志 神 芋 而 不 可 侵犯 ,这 一 点 不 
可 轻视 。 我 们 不 仅 需 要 承认 个 人 进行 道德 选择 的 能 力 ， 还 要 强调 个 人 应 
为 日 我 行为 承担 贡 任 。 社 会 则 必须 采取 新 的 保护 措施 :接受 一 种 新 的 职 
业 人 ， 也 就 是 数据 算法 师 ， 对 大 数据 进行 深度 分 机。 如 此 ， 因 为 大 数据 
而 变 得 可 预测 的 世界 ， 才 不 会 陷入 一 个 用 一 种 未 知 取代 另 一 种 未 知 的 困 
境 中 ， 不 会 变 成 一 个 黑匣子 。 


大 数据 将 成 为 理解 和 解决 当今 许多 紧迫 的 全 球 问题 所 不 可 或 缺 的 重 
要 工具 。 例 如 要 应 对 气候 变化 问题 时 ， 需 要 对 污染 相关 数据 进行 分 析 ， 
得 出 最 佳 方案 ， 来 指导 努力 方向 ， 找 出 缓解 问题 的 方法 。 全 球 范 围 内 过 
布 的 大 量 传 感 设 备 ， 包 括 乔 能 手机 内 部 的 传 感 顺 ， 使 我 们 能 够 以 更 高 的 
细节 水 平 模拟 环境 。 而 世界 贫困 人 口 迫切 需要 提高 医疗 保健 服务 ， 降 低 
医疗 费用 ,这 很 大 程度 上 可 以 靠 上 自动化 来 实现 。 当 下 许多 似乎 需要 人 类 
判断 才能 进行 的 事情 ， 其 实 完全 可 以 交 由 电脑 来 做 ， 比 如 癣 细胞 活检 、 
传染 病 爆 发 前 期 的 模式 预测 等 。 




















大 数据 也 被 用 于 发 展 经 济 和 理解 如 何 预 防 冲突 。 基 于 手机 动向 数据 
显示 ， 非 洲 许多 贫民 罕 地 区 经 济 活动 十 分 活路 。 大 数据 还 揭示 了 最 可 能 
引发 种 族 关 系 紧张 的 社区 以 及 解除 难民 危机 的 方式 。 只 有 当 科 技 应 用 至 
生活 的 方方面面 时 ， 大 数据 的 使 用 范围 才能 进一步 扩大 。 


大 数据 能 帮助 我 们 更 好 地 进行 已 有 的 工作 ， 并 处 理 全 新 的 事务 。 但 
它 绝 不 是 魔术 棒 ， 不 会 币 来 世界 和 平 ， 无 法 根 绝 贫穷 问题 ， 更 不 能 创造 
出 另 一 个 毕加索 。 大 数据 不 能 造 竖 儿 ， 虽 然 它 确实 可 以 救助 时 产儿。 不 
要 多 久 ， 我 们 将 在 生活 的 各 个 方面 使 用 到 大 数据 ， 如 有 果 不 用 的 话 还 可 能 
会 引起 些许 焦虑 ， 这 种 情况 就 像 普通 体检 查 不 出 问题 时 ， 会 希望 有 医生 
帮 有 我 们 预约 X 光 进行 检查 。 


当 大 数据 成 为 日 剃 生活 的 一 部 分 后 ， 它 将 会 极 大 地 改变 我 们 对 未 来 
的 看 法 。 大 约 五 百年 前 ， 欧 洲 在 逐渐 发 展 为 更 加 自由 、 科 学 、 文 明 的 世 
界 的 进程 中 ， 欧 洲 人 经 历 了 对 时 间 认 知 的 重大 转变 。 在 此 之 前 ， 时 间 被 
认为 是 循环 的 ， 生 命 也 是 轮转 的 。 每 天 或 每 年 与 过 去 的 日 子 如 出 一 辕 ， 
甚至 连 生 命 的 终结 也 与 起 点 相似 ， 因 为 濒 死 的 成 人 会 显示 出 孩子 的 特 
征 。 认 知 转 变 后 ， 时 间 变 作 线 性 的 ， 成 了 一 条 岁月 演变 过 程 ， 过 程 中 世 
界 因 人 变化 ， 生 命 的 轨迹 也 受到 相应 的 影响 。 如 果 说 这 以 前 的 历史 中 ， 
过 去 、 当 下 、 未 来 的 概念 是 完全 交织 在 一 起 的 ， 那 么 通过 塑造 当下 ， 人 
类 现在 便 有 了 过 去 可 以 回顾 ， 有 了 未 来 可 以 展望 。 


虽然 我 们 可 以 塑造 当下 ， 但 未 来 却 从 过 去 的 “完全 可 预测 ”转变 为 一 
块 开放 又 原始 、 广 阔 而 空白 的 帆布 ， 所 有 人 都 可 以 在 上 面 依据 自己 的 价 
值 ， 努 力 裁 筋 塑 形 。 “现代 ”的 一 个 定义 性 特征 便 是 人 类 感到 目 己 是 命运 
的 主人 ， 这 使 我 们 与 生活 在 宿命 论 梭 格 中 的 先 寿 们 截然 不 同 。 但 是 大 数 
据 预 测 却 又 使 我 们 的 生命 帆布 不 再 那么 开放 、 原 始 和 纯净 。 对 于 善于 运 
用 科 拉 解读 未 来 的 人 来 说 ， 我 们 的 未 来 不 再 是 只 字 未 书 的 画布 ， 而 是 似 
乎 已 经 大 上 了 淡淡 的 黑 痕 。 未 来 的 可 预知 性 似乎 缩小 了 塑造 命运 的 空 
间 。 潜 在 的 可 能 性 在 概率 的 针 坛 上 被 解剖 。® 


与 此 同时 ， 大 数据 又 意味 着 我 们 将 永远 受 困 于 过 去 的 行为 ， 这 些 行 
为 在 预知 我 们 下 一 步 动作 的 预测 过 程 中 与 我 们 作对 ， 即 我 们 永远 无 法 逃 
避 已 发 生 的 事 。 莎 士 比 亚 曾 写 道 ;“ 凡 是 过 去 ， 此 为 序曲 。” 大 数据 通过 
运算 将 这 人 句 话 铭刻 ， 无 论 结果 好 坏 一 一 无 论 这 句 话 是 否 会 浇 烛 我 们 迎接 
下 一 个 日 出 的 热情 ， 是 人 否 会 打击 我 们 留 名 于 世 的 淘 望 。 


其 实 ， 事 实 很 有 可 能 是 相反 的 。 知 道行 为 在 未 来 如 何 谢幕 ， 我 们 便 






































可 以 采取 补救 措施 ， 避 免 问 题 太 生 并 改善 结局 。 我 们 能 在 期 末 考 试 之 前 
早早 发 现 有 退步 趋势 的 学 生 。 我 们 能 检测 到 微小 的 癌变 ， 赶 在 疾病 完全 
爆发 前 根治 。 我 们 能 看 到 青春 期 意外 妊娠 的 可 能 性 ， 或 是 预测 到 茶 种 犯 
徘 生 省， 然后 尽力 干预 ， 避 免 出 现 可 能 的 坦 剧 结局 。 例 如 拥挤 的 纽约 住 
宅 着 火 的 时 候 ， 如 果 能 事先 知道 并 从 几 间 最 可 能 是 火 源 的 公寓 着 于 ， 将 
会 免除 一 场 致命 的 火灾 。 


没有 什么 是 上 天 注定 的 ， 因 为 我 们 总 能 惑 手中 的 信息 制定 出 相应 的 
对 案 。 大 数据 预测 结果 也 并 非 铁 定 ， 而 只 是 提供 了 一 种 可 能 性 ， 也 残 是 
说 ， 只 要 我 们 愿意 ， 结 局 可 以 改写 。 我 们 可 以 判断 出 迎接 未 来 的 最 佳 方 
式 ， 摇 刁 变 作 未 来 的 主人 ， 正 如 英里 在 海 与 风 的 广阔 世界 中 乘风破浪 一 
般 。 在 过 程 中 我 们 无 须 理解 宇宙 的 奥秘 或 是 去 证 明神 的 存在 ， 因 为 大 数 
所 已 经 帮 我 们 做 好 了 。 
































O 当 有 些 大 数据 拥护 者 叫嚣 “理论 已 死 "的 时 候 ， 各 位 读者 是 否 匠 
到 了 一 个 多 世纪 前 让 尼采 喊 出 上帝 已 死 ? 的 时 代 ? 大 数据 恐怕 会 让 我 们 
在 寻找 意义 塑造 价值 的 道路 上 面 对 比 尼采 当时 更 困难 的 境况 。 一 -一 译 者 
‘ca 








[2] 答案 : HER. ——fFAIE 
[3] 意 指 洪 在 可 能 发 生 的 所 有 事情 将 信 由 大 数据 分 析 而 获得 ， 一 种 


译 者 注 








更 大 的 数据 源 于 人 本 号 


大 数据 改造 了 我 们 的 生活 ， 它 能 优化 、 提 高 、 高 效 化 并 最 终 捕 欣 住 
利益 ， 那 直觉 、 信 仰 、 不 确定 性 和 创意 还 能 扮演 什么 角色 呢 ? 


就 算 大 数据 无 法 教会 我 们 所 有 事情 ， 只 要 能 帮助 我 们 表现 更 佳 、 更 
富 效率 、 取 得 进步 ， 就 算 缺 乏 深入 理解 也 是 很 有 用 的 了 。 一 贯 如 是 地 坚 
持 下 去 才 有 效力 。 即 使 你 不 明白 为 什么 付出 的 努力 得 不 到 回报 ， 但 相 比 
不 努力 ， 你 要 明白 你 已 经 在 改善 事情 的 结局 了 。 纽 约 的 弗 劳 尔 和 他 
的 “小 伙 子 们 ”也 许 并 没有 圣人 圣明 的 判断 力 ， 但 他 们 确实 在 拯救 生命 。 
大 数据 不 会 即刻 提高 效率 ， 但 经 受 住 时 间 的 考验 后 ， 它 将 生出 智慧 的 结 


日 日 














大 数据 洞察 


大 数据 并 不 是 一 个 充斥 着 运算 法 则 和 机 器 的 冰冷 世界 ， 其 中 仍 需 要 
人 类 扮演 重要 角色 。 人 类 独 有 的 弱点 、 错 觉 、 错 误 都 是 十 分 必要 的 ， 因 
为 这 些 特性 的 男 一 头 窑 着 的 是 人 类 的 创造 力 、 直 觉 和 天 赋 。 侦 尔 也 会 种 
来 四 辱 或 固执 的 同样 混乱 的 大 脑 运作 ， 也 能 融 来 成 功 ， 或 在 偶然 间 促 成 
我 们 的 伟大 。 这 提示 我 们 应 该 乐于 接受 类 似 的 不 准确 ， 因 为 不 准确 正 是 
我 们 之 所 以 为 人 的 特征 之 一 。 就 好 像 我 们 学 习 处 理 混乱 数据 一 样 ， 因 为 
这 些 数据 服务 的 是 更 加 广大 的 目标 。 毕 竟 混 乱 构成 了 世界 的 本 质 ， 也 构 
a ee ere 
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在 这 个 利用 数据 做 出 决定 的 世界 里 ， 人 类 存在 的 目的 是 什么 ”难道 
是 为 了 运用 下 觉 和 违背 事实 ? 如 末 所 有 人 都 诉 诸 数 据 ， 部 利用 工具 ， 那 
人 


如 果真 变 成 这 样 ， 为 人 类 开辟 出 一 块 领地 ， 为 直觉 、 常 识 和 意外 运 
气 腾 出 空间 就 十 分 必要 ， 以 确保 它们 不 被 数据 和 机 器 回答 挤兑 出 去 。 人 
类 最 伟大 之 处 正 是 运算 法 和 硅 片 没有 掏 示 也 无 法 揭示 的 东西 ， 因 为 数据 
也 无 法 捕捉 到 这 些 。 并 不 是 “< 人 类 最 伟大 的 东西 是 什么 ”， 而 是 “什么 不 
ca AT, MTB EW Rae. ARM Ae 
想到 的 事 ? 









































这 为 “社会 进步 ?的 概念 提供 了 重要 局 示 。 大 数据 让 我 们 试验 的 速度 
更 快 ， 发 现 的 线索 更 多 。 这 理应 能 够 产生 更 多 的 创新 成 果 ， 但 发 明 的 火 
化 却 往往 存在 于 数据 未 显示 出 的 信息 之 中 ， 因 为 它 并 非 真 实 存 在 ， 是 多 
大 量 的 数据 都 永远 无 法 确定 或 证 实 的 。 如 宁 享 利 : 福 特 问 大 数据 他 的 顾 
客 想 要 的 是 什么 ， 大 数据 将 会 回答 , “一 匹 更 快 的 马 。 加 在 大 数据 的 世 
界 中 ， 包 括 创 意 、 直 觉 、 冒 险 精神 和 知识 野心 在 内 的 人 类 特性 的 培养 显 
得 尤为 重要 ， 因 为 进步 正 是 源 目 我 们 的 独创 性 。 晶 


大 数据 是 一 种 资源 ， 也 是 一 种 工具 。 它 告知 信息 但 不 解释 信息 。 它 
指导 人 们 去 理解 ， 但 有 时 也 会 引起 误解 ， 这 取决 于 是 人 否 被 正确 使 用 。 大 
数据 的 力量 是 那么 炊 眼 ， 我 们 必须 避免 被 它 的 光 芷 诱惑 ， 并 僚 于 发 现 它 
EA SBE 


BLY CHE RICE FEL BOE A Re CBR PR A=) 尽 
数 收 集 、 储 存 和 加 工 。 例 如 ， 欧 洲 粒 子 物理 研究 所 CCERN) 位 于 日 内 
瓦 的 粒子 物理 实验 室 在 试验 中 只 能 收集 到 不 到 0.1% 的 反馈 信息 ， 其 余 信 
息 将 同 潜在 的 知识 一 起 消失 在 乙醚 中 。 这 种 情况 司空 见 惯 。 从 罗盘 和 六 
分 仪 ， 到 望远镜 和 雷达 ， 再 到 今天 的 全 球 定位 系统 ， 人 们 总 是 受到 现 有 
测量 和 认 知 工具 的 局 限 。 我 们 明天 使 用 的 工具 很 可 能 比 今 天 的 强大 数 倍 
甚至 上 千 倍 ， 我 们 现在 所 拥有 的 知识 较 之 明天 可 能 就 显得 微不足道 了 。 
要 不 了 多 和 久 ， 当 我 们 回 看 当今 的 大 数据 世界 时 ， 就 像 在 看 阿波 罗 11 号 上 
仅 4Kb 内 存 的 导航 控制 计算 机 一 样 ， 会 觉得 十 分 奇特 。 


我 们 能 收集 和 处 理 的 数据 只 是 世界 上 极其 微小 的 一 部 分 。 这 些 信 息 
不 过 是 现实 的 投影 一 一 相 拉 图 洞穴 上 的 阴影 叶 了 。 因 为 我 们 无 法 获得 完 
美的 信息 ， 所 以 做 出 的 预测 本 里 束 不 可 徘 。 但 这 也 不 代表 预测 就 一 定 是 
错 的 ， 只 是 永远 不 能 做 到 完善 。 这 也 并 未 否定 大 数据 的 判断 ， 而 只 是 让 
大 数据 发 挥 出 了 应 有 的 作用 。 大 数据 提供 的 不 是 最 终 答案 ， 只 是 参考 答 
案 ， 为 我 们 提供 暂时 的 帮助 ， 以 便 等 待 更 好 的 方法 和 答案 出 现 。 这 也 所 
醒 我 们 在 使 用 这 个 工具 的 时 候 ， 应 当 怀 有 谦 茶 之 心 ， 铭 记 人 性 之 本 。 
































O 改 编目 享 利 : 福 特 的 名 言 一 一 “如 有 打 我 当年 去 问 顾客 他 们 想 要 什 
么 ， 他 们 肯定 会 告诉 我 : “VERA. "一 一 作者 注 


[2] 西方 谚语 有 云 :“ 预 测 未 来 最 好 的 办 法 就 是 创造 未 来 。” 这 人 句 话 
在 大 数据 时 代 亦 应 当 铭记 。 在 福特 时 代 ， 任 何人 都 无 法 从 数据 中 看 到 汽 
车 将 答 代 马车 ， 福 特 所 创造 的 是 无 法 预测 的 全 新 篇 章 。 一 一 译 者 注 
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